DSH Plugins
返回列表
⚙️

dsh-agent-bench

工作流 更新于 2026.10.26

在终端中运行以下命令:

dsh plugin install songrui111/dsh-agent-bench

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中可通过插件市场或执行 dsh plugin install songrui111/dsh-agent-bench 安装,源码见 https://github.com/songrui111/dsh-agent-bench。

插件介绍

换模型、改系统提示词或升级 DSH 之后,Agent 到底有没有变差、差在哪一条,往往只能靠手感或零散试任务,很难复现、也很难对比两次版本。dsh-agent-bench 把「同一起点、同一任务、同一套规则」固定下来,让回归测试有可重复的基准。

每条用例由起始 fixture、一句任务和一组判分规则组成:在隔离沙箱里复制起点、让 Agent 真实干活,再用 file-exists、file-contains、file-equals-expect、command 等确定性断言打分。可选的 llmReview 只记入成绩卡作参考,不参与回归判定;断言不变而评审结论变化时会单独标成「漂移」,避免把评审模型波动当成能力退化。

插件提供列出套件、初始化、运行、对比历史等能力,并在独立 DSH_HOME 里跑 Agent,复制凭据但不污染日常会话与配置。内置 core、workflow 示例套件便于上手,真正有价值的是把你自己工作流里的规矩写成用例——例如改完必须跑测试、重构后测试全绿。

适合维护 Agent 工作流、频繁调模型或提示词、以及需要在升级 DSH 前后做客观对比的团队与个人开发者。

使用场景

  • 换模型或改系统提示词后,对比前后两次 bench 运行是否退化
  • 升级 DSH 版本前后跑同一套件,定位哪条用例断言失败
  • 把工作流规矩写成用例,例如改完代码必须跑测试且全绿

适合人员

  • 维护 DSH Agent 工作流与提示词的开发者
  • 需要客观对比不同模型或配置的团队
  • 频繁升级 DSH 并担心 Agent 行为漂移的使用者