DSH Plugins
返回列表
🤖

dsh-latency-pct

模型推理 更新于 2026.08.20

在终端中运行以下命令:

dsh plugin install uckkk/dsh-latency-pct

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中运行 dsh plugin install uckkk/dsh-latency-pct 即可安装该插件,源码地址为 https://github.com/uckkk/dsh-latency-pct。

插件介绍

在模型推理管线中,平均延迟往往掩盖了尾部请求的真实体验,而 P50、P95、P99 等百分位指标才是定义 SLO 的关键。手动计算这些百分位不仅繁琐,还容易出错,尤其是在快速调试时,你需要的是几秒钟内拿到一个可信的数字,而不是写一堆临时脚本。

dsh-latency-pct 提供了一个名为 latency_pct 的会话内工具,支持按参数精确计算延迟百分位并返回详细的结构化结果。整个实现为纯 Node.js,零网络依赖,可在完全离线环境中可靠运行,避免了外部依赖带来的版本漂移与供应链风险。

它适合正在调优或压测推理管线的 ML 工程师、负责 SLO 监控的 SRE,以及任何想在会话工作流中快速抓取延迟分布快照的开发者。一次调用即可获得可信的百分位数据,让你把精力集中在真正影响体验的模型行为上。

使用场景

  • 调试推理管线时快速计算 P95/P99 延迟
  • 在完全离线环境中获取延迟分布数据
  • 会话内直接调用工具,免去编写临时计算脚本

适合人员

  • 调优推理管线的 ML 工程师
  • 负责 SLO 达标的 SRE
  • 需要快速获取延迟百分位数据的开发者