dsh-eval-harness
在终端中运行以下命令:
dsh plugin install LTJ002/dsh-eval-harness
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中运行:dsh plugin install LTJ002/dsh-eval-harness(开源地址:https://github.com/LTJ002/dsh-eval-harness)。
插件介绍
许多团队在评测 Agent 应用时,最怕的不是分数低,而是数字好看却无法复现、不可比较,甚至评测逻辑在暗里“自我通过”。dsh-eval-harness 把评价拉回到可核查的外部事实:判据来自审计表、服务端结构化结果与确定性规则,而不是听信模型自述。
它以技能包形态接入 DeepSeek Harness:经 bundled provider 把方法论与 assets 下的可运行脚本注册进 ctx.skills,让你按同一套纪律做离线断言、在线真打与基线对比。覆盖面包括 RAG 检索与基于标注对的答案层指标、在线四套件(工具、注入、应答、多轮)、治理与清单指纹、报告只读汇总等;核心强调双向判据与分母纪律,并用变异测试证明 harness 在实现被改坏时会诚实翻红。
它不是宿主功能插件,不改 UI、不注入口令或运行时代码,而是把评测设计与实现当作可版本化的技能资产交付。对框架也不做绑定:只要对话接口可编程调用、工具副作用可查询,就能以适配层接入;适合要为 LLM/Agent 应用建立可解释质量度量、回归门禁与根因核对流程的研发与质量工程团队。接入时需按项目契约改写在线骨架中的 login、chat、副作用读取,并把示例数据集整体换成真实业务数据。
使用场景
- 从零为 Agent 应用建立可复现、可比较的离线断言、在线真打与基线对比体系。
- 修改 RAG、工具调用或提示词后,与基线按用例比对并用双向判据抓住退化与不应出现的应答。
- 评测看似全绿但线上仍异常时,依陷阱清单与根因分层核对判据,并用变异测试验证评测器自身可信。
适合人员
- 需要为 LLM/Agent 应用建立可解释质量度量与回归纪律的研发与测试同学。
- 想把评测纳入 CI/CD、强调外部事实与分母纪律而不依赖模型自述的工程团队。
- 关注提示词安全、工具副作用可审计与多轮对话稳定性的架构与安全工程角色。