dsh-agent-lab
在终端中运行以下命令:
dsh plugin install Limtide/dsh-agent-lab
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install Limtide/dsh-agent-lab,或按插件管理器说明从 https://github.com/Limtide/dsh-agent-lab 安装。
插件介绍
换模型、改提示词或升级插件后,同一个任务的行为是否还可靠?现有工具多半只能「看录像」,很难把两次真实跑出来的工具选择、参数、成败与用量摆在一起,逐步对照。插件作者收到「它乱改文件」这类反馈时,也缺少可版本化、可重复比对的现场。
dsh-agent-lab 把一次会话录成运行(run),再与另一次运行并排对比:顶部有行为相似度、调用数、Token 与配置指纹;轨迹按步骤对齐并标出一致、参数漂移、结果变化或成败翻转,而不是多一次调用就让后面全错位。v0.2 起可在隔离工作区副本里重放同一任务并换模型或提示词;v0.3 把多次运行聚合成「任务 × 变体」矩阵;v0.4 在任务上挂断言,并用退出码把回归门禁接进 CI。比较的是行为不变量(工具名、顺序、参数、成功/失败),不是逐字复现模型文案。
侧栏打开「回归实验台」,在对比与矩阵页签间切换即可:从会话导入、重放生成对照、在矩阵里看空单元格逐变体重跑,或为任务配置 no-tool、file-contains、Token/调用上限等检查。运行与断言落在本机目录,可读可版本化;重放会真实消耗 Token,且同一时刻仅允许一个重放任务。
适合需要验证 Agent 预设与插件变更、排查「一次成功一次失败」差异的开发者,以及希望给 agent 配置做类似 pytest 回归门禁的团队。明确不做批量重放队列、worktree 隔离或结果上传;矩阵空位需逐个发起重放。
使用场景
- 换模型或提示词后,对比两次运行的工具轨迹与用量差异
- 同一流程一次成功一次失败,逐步定位哪一步行为翻转
- 为任务配置断言并在 GitHub Actions 里用退出码做回归门禁
适合人员
- 维护 Agent 预设与插件版本的开发者
- 需要留存可 diff 现场排查「乱改文件」的插件作者
- 希望给 agent 配置做系统化回归测试的团队