DSH Plugins
返回列表
dsh-plugin-compare

dsh-plugin-compare

工作流 更新于 2026.09.10

在终端中运行以下命令:

dsh plugin install yminghua/dsh-plugin-compare

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在终端中执行 dsh plugin install yminghua/dsh-plugin-compare 即可从 npm 安装稳定版,插件源码地址为 https://github.com/yminghua/dsh-plugin-compare

插件介绍

配置了几个 Agent 预设却说不清谁更快、谁更省 token、谁重试更少?dsh-plugin-compare 从会话日志中提取执行证据,生成并排时间线、成对差异与统计摘要。它既能回放已有会话展示写/编辑 diff,也能发起受控 A/B 运行:工作区复制两份、固定同一 provider 与模型、提交相同提示词、执行可选的成功检查命令,并在临时副本移除前捕获 Git 快照。报告支持 JSON、自包含 HTML、SVG 和 PNG 导出。

受控运行支持 1 到 10 组成对试验并自动交替先后顺序。摘要报告时间与 token 的均值和中位数成对差异,至少两对时附 Student-t 95% 置信区间。原始观测值与 Session id 保留在 JSON 中以便任何人重算。若 Agent 在完成任务前失败,该试验标记为无效,而非将无变更的测试失败静默记入预设得分。

适合进行提示词对比实验的开发者、需要可审查工件支撑预设优劣结论的工程团队,以及想把主观体验转化为可分享、可审计数据的任何人。分享前请逐份检查导出的 HTML、JSON、SVG 和截图:其中可能包含提示词、源码差异、命令输出与 Session id,自动脱敏仅为尽力而为,不能视为隐私许可。

截图预览

使用场景

  • 对比同一任务下两个预设在时间、token 和重试次数上的成对差异
  • 回放历史会话并排查看两端的写/编辑时间线与文件 diff
  • 生成含置信区间的自包含 HTML 报告供团队评审与分享

适合人员

  • 进行提示词对比实验的开发者
  • 需要可审查工件支撑预设选型结论的工程团队
  • 希望把主观体验转化为可度量、可分享数据的任何人