dsh-model-latency-test
在终端中运行以下命令:
dsh plugin install Mo3ter/dsh-model-latency-test
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install Mo3ter/dsh-model-latency-test,或从 https://github.com/Mo3ter/dsh-model-latency-test 按仓库说明安装。
插件介绍
在 DeepSeek Harness 里配了多家模型提供方、模型一多,很难凭感觉判断「谁更快」——文档里的基准和你在当前网络下的真实体验往往对不上。这个插件在设置里增加「模型测试」一页,用同一套 Harness API 对你已配置的每个模型做一次最小流式请求,量出首 token 延迟(TTFT),把抽象的性能变成可对比的数字。
使用方式很直接:打开设置 → 模型测试,每个提供方是一张可折叠卡片,点卡片头部的「测试」即可。插件会按顺序跑完该提供方下的全部模型,界面上实时显示毫秒数或「失败」;单个模型失败不会打断后面的测试。延迟口径是 llm.stream 中第一个非空 token 到达的时间差,也就是业界常说的 TTFT,单位毫秒。
测试是串行执行的,模型多的提供方需要多等一会儿;每次测试都会真实消耗少量 token,测到的是「你这条网络 + 该提供方 + 当下时刻」的延迟,更适合隔时段、跨天对比,而不是单次绝对值当真理。
适合经常在 Harness 里切换或对比多家 API、想给路由或默认模型做数据化选型的人;需要设置页(DSH Web GUI 或 DSH Desktop),纯命令行环境没有这一界面则无法使用。
使用场景
- 新接入一家提供方后,想快速摸清各模型在你网络下的首包速度
- 在多个默认模型之间犹豫,需要同一界面下的毫秒级对比
- 隔几天复测一次,观察延迟是否随时段或线路变化
适合人员
- 在 Harness 中配置了多家 LLM 提供方的日常用户
- 需要为路由或默认模型做数据化选型的维护者
- 使用 DSH Web GUI 或 Desktop 并常调模型设置的人