dsh-agent-observability
在终端中运行以下命令:
dsh plugin install beibeihk/dsh-agent-observability
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install beibeihk/dsh-agent-observability 安装插件;完整源码与 v0.1.0 发布包见 https://github.com/beibeihk/dsh-agent-observability。
插件介绍
在 DeepSeek Harness 里跑 Agent 时,控制台日志往往分不清「重试」和「新步骤」、取消与报错、界面改写与第二次工具结果。Harness 的会话日志记录的是模型上下文所依据的事实;dsh-agent-observability 直接基于这些已提交的事件证据重建 Session → Turn → Step → 模型结算 → 工具调用/结果轨迹,而不改写原始记录。
插件会计算可靠性指标,用一组有界、可观测的规则检测运行时与轨迹模式(例如无终态的工具调用、同一步多次终态、连续等价调用、工具错误率过高等),并引用精确的事件序号。你可以在会话中提交 /observe 获取指标与发现(不占用模型轮次),或在持久化回合结束与会话刷新时自动导出 trace、摘要、评估用例与静态 HTML 报告到本地目录。默认仅采集元数据、不向远端发送遥测;需要时可显式开启内容捕获并配合脱敏。
实现上通过官方 bundle 注入 Cordis 插件,只订阅 observe-only 的会话/事件流,不修改循环、不注入提示或额外工具 schema。适合在 Web 侧用自有凭据跑真实任务、又希望做可复现、可导出的可靠性复盘与评测数据准备的团队与个人;也适合用离线 demo 在无 API 费用的情况下验证检测规则与报告形态。
截图预览
使用场景
- 在 Web 会话完成一轮任务后执行 /observe,本地打开 report.html 复盘轨迹与异常
- 将会话 trace 与 failure case 导出为 JSON/CSV,供后续离线评测与规则回归
- 用无密钥离线 demo 验证检测器与报告形态,无需调用付费模型 API
适合人员
- 在 Harness Web 中跑 Agent 并需要可证据化的可靠性复盘者
- 要构建可复现评测数据集、关注工具调用与回合异常模式的团队
- 默认元数据采集、不希望插件向外发送遥测的隐私敏感用户