dsh-touchstone
在终端中运行以下命令:
dsh plugin install Hwayn-pixel/dsh-touchstone
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install Hwayn-pixel/dsh-touchstone 安装本插件(源码:https://github.com/Hwayn-pixel/dsh-touchstone),安装后重启 DSH。
插件介绍
DeepSeek Harness 把提示词、预设和规则都做成可替换组件,但改完之后往往只能靠体感判断「有没有变好」。生态里已有回滚,却缺少一套可重复的评测闭环:提出改动,用同一批场景量一量再决定是否保留。dsh-touchstone 补的就是这一块——它不碰你的文件,只在公开模型接口上跑对照实验。
你可以维护「金标准用例」:每条用例是一段固定提问,加上必须包含、禁止出现、正则或 LLM 裁判等检查项。再定义「候选方案」(追加或替换系统提示),与内置的「当前配置」并排执行,得到逐条得分与整体均值差,并给出保留、回退或差异不显著的证据化结论。分数只代表你写的那些用例,最终取舍仍在你手里。
它刻意做得很薄:适合验证提示词、家规或预设措辞的调整,不适合替代需要真实副作用的工具实现评测。若你经常在 DSH 里微调 agent 行为、又不想每次改完都靠猜,试金石能把「我觉得有效」变成「在这些 case 上前后对比如何」。
使用场景
- 新增或修改家规后,用固定用例看输出是否更符合预期
- 在保留当前配置的前提下,对比「追加」与「替换」两种候选提示的效果
- 改完预设措辞后跑一遍对账,决定保留改动还是回滚
适合人员
- 经常在 DSH 里微调提示词、规则或预设的用户
- 希望用可重复打分替代纯体感判断的 agent 维护者
- 需要小范围对照实验、又不想动文件或改内核的插件使用者