dsh-latency-pct
在终端中运行以下命令:
dsh plugin install uckkk/dsh-latency-pct
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中运行 dsh plugin install uckkk/dsh-latency-pct 即可安装该插件,源码地址为 https://github.com/uckkk/dsh-latency-pct。
插件介绍
在模型推理管线中,平均延迟往往掩盖了尾部请求的真实体验,而 P50、P95、P99 等百分位指标才是定义 SLO 的关键。手动计算这些百分位不仅繁琐,还容易出错,尤其是在快速调试时,你需要的是几秒钟内拿到一个可信的数字,而不是写一堆临时脚本。
dsh-latency-pct 提供了一个名为 latency_pct 的会话内工具,支持按参数精确计算延迟百分位并返回详细的结构化结果。整个实现为纯 Node.js,零网络依赖,可在完全离线环境中可靠运行,避免了外部依赖带来的版本漂移与供应链风险。
它适合正在调优或压测推理管线的 ML 工程师、负责 SLO 监控的 SRE,以及任何想在会话工作流中快速抓取延迟分布快照的开发者。一次调用即可获得可信的百分位数据,让你把精力集中在真正影响体验的模型行为上。
使用场景
- 调试推理管线时快速计算 P95/P99 延迟
- 在完全离线环境中获取延迟分布数据
- 会话内直接调用工具,免去编写临时计算脚本
适合人员
- 调优推理管线的 ML 工程师
- 负责 SLO 达标的 SRE
- 需要快速获取延迟百分位数据的开发者