DSH Plugins
返回列表
⚙️

dsh-harness-dispatcher

工作流 更新于 2026.11.11

在终端中运行以下命令:

dsh plugin install dsh-plugin-lab/dsh-harness-dispatcher

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install dsh-plugin-lab/dsh-harness-dispatcher 即可从 https://github.com/dsh-plugin-lab/dsh-harness-dispatcher 安装本插件。

插件介绍

Agent 的表现往往取决于系统提示、工具集与模型路由等「装配」,而不只是底模。若你只换模型做对比,很难把变量控住。dsh-harness-dispatcher 把 harness 当作可控变量:在同一套装配上反复跑固定任务,把每次运行里已提交的事件折成确定性事实,并按 trial 写出 JSONL 行,方便你在外部用 R 或 Python 换口径重算,而记录本身可复现。

插件提供闭环的三类能力:harness_export 把预设落成可运行文件;harness_inspect 在不启动 agent、不耗 token 的前提下挂载、审计并探测主体实际能调用的工具(也可直接检查宿主已有预设);harness_run 则执行任务、挂载 harness 并按 trial 数产出运行句柄与结果,记录目录自包含 harness 副本。另有故障门可对指定工具注入 deny、fail 或 latency,仅作用于被测主体;两条 fold 分别记录主体做了什么(轨迹、工具调用、错误、token 与最终文本)以及被给了什么(系统提示摘要、工具名与 schema 摘要、实际路由),只记事实、不做评判。

适合需要对比不同 harness、提示或工具组合、或要在同一部署里验证「这套装配是否真的能工作」的插件作者与 agent 工作流维护者。跑前建议先用 inspect,它与 run 使用同一套解析;若工具集本身是变量,可用 sealed 隔离宿主默认挂载。当前仓库侧重记录与折叠,统计与显著性请在外部分析栈完成。

使用场景

  • 对比不同系统提示或工具组合在同一任务上的表现
  • 在上线前免费审计 harness 主体实际可调用的工具
  • 对指定工具注入拒绝、错误或延迟以验证恢复与绕行

适合人员

  • 需要系统化评测 agent 装配而非单模型的插件作者
  • 维护多版本 harness 并要可复算 JSONL 记录的工作流维护者
  • 要在受控条件下做工具集与提示 A/B 的实验设计人员