dsh-eval-guard
在终端中运行以下命令:
dsh plugin install huhu23333/dsh-eval-guard
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 终端执行 dsh plugin install huhu23333/dsh-eval-guard,或按设置页说明从开源仓库 https://github.com/huhu23333/dsh-eval-guard 安装该插件。
插件介绍
在 DSH 里做 agent 评测或比赛时,常见风险是对话越界:访问工作区外路径、联网拉资源、启用子代理或读取其它会话数据。dsh-eval-guard 在开启「评测守护」后,把这些约束施加于所有用户主对话,让评测在明确、可隔离的边界内运行。
插件的能力可以概括为沙箱、限时与任务评测三条线。沙箱侧只允许读写当前会话工作区,工作区外(包括 /tmp)不可达,并禁止联网、子代理、Agent Team/跨 agent 通信及读取其它工作区;工具黑名单可配置,未知工具默认放行,DSH 内置与 dsh-ops 工具会对参数路径做审计。限时按会话独立:用户发送消息时依据当时的开关与分钟数创建或清除 deadline,到点仅终止该会话及其子代理/后台任务。设置页可安装十一种任务(原 meow-ai-arena 五类、Commit0/SWE-Bench Pro/FeatureBench 长任务、Neural-CPP/FP32/CIFAR 纯 C++ 项目),选择任务时会带入默认最长时长与限时开关,用户仍可手动调整。
安装与「评测当前工作区」走同一套任务与工作区选择,以后台任务执行,进度与日志持久化;Neural 等任务在临时目录独立构建,隐藏测试不在工作区内,单工作区评测只产出当前候选结果、不生成排行榜。Neural-CIFAR 的验证集通过独立评测目录获取,CIFAR 下载缓存与镜像/代理可在设置页配置。
适合在 Linux 上维护 benchmark、教学实验或内部评测的团队:需要统一沙箱、统一限时,并在同一 DSH 环境中并行多种任务与时长。日常开发若不需要封闭评测环境,可以不装;若你要可复现、可对比的单工作区评测,它能显著减少手工搭隔离环境与对齐任务素材的成本。
使用场景
- 在 DSH 中举办 agent 比赛,需要主对话只能动工作区且全程禁网
- 课程或内训用 Commit0、SWE-Bench 等长任务做单工作区打分
- 并行开多个评测会话,各自不同时长且到点只停当前会话
适合人员
- 在 Linux 上维护 DSH 评测与 benchmark 的平台或赛事组织者
- 需要统一沙箱规则与限时策略的教学或实验室负责人
- 做 Neural/C++ 或 arena 类任务对比实验的研究与工程团队