dsh-compress-bench
在终端中运行以下命令:
dsh plugin install dingchenhui0618-arch/dsh-compress-bench
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness(需 DSH >=0.2.1-rc.2)中通过插件管理安装 dingchenhui0618-arch/dsh-compress-bench,源码见 https://github.com/dingchenhui0618-arch/dsh-compress-bench;桌面版请在应用内管理插件,勿用 CLI 的 desktop profile。
插件介绍
上下文压缩能省 token,但「省了多少」和「答案有没有变差」往往被混在一句话里,甚至用 provider 上报的小数字算出看似漂亮的节省比例。dsh-compress-bench 的定位是 DeepSeek Harness 里的一把量具:先量,再信。它不做生产压缩策略,也不承诺固定节省比例,而是用固定只读沙盒、同一模型与同一组可验证事实,把压缩关与开各跑一遍,把两侧能对照的真实数字写进报告。
核心能力是镜像 A/B:system、任务、工具 schema、temperature 完全一致,只改变工具结果在交给模型前是否被压缩。跑分结束后你会看到输入 token(以两侧同一把尺的本地估算为主)、轮数、工具调用成功率、事实覆盖、最终答案相似度与差异,以及 verdict 与 warnings——例如 provider usage 不宜跨侧直接比较、压缩侧可能多一次工具调用等代价项不会被藏掉。产物是可复现的 JSON 报告与自包含对比图,历史运行可回看与下载。
适合需要评估宿主或内置压缩器(如 toolResultPruner 或 line-reducer 回退)在「长工具结果」压力下的效果的人:插件开发者、Harness 维护者,以及想在换模型或换场景前先用合成 fixture 做对照实验的用户。它回答的是:同一场对话 token 确实少了,事实还在不在、答案变没变——而不是替你再做一个压缩选择器。
截图预览
使用场景
- 上线或换压缩策略前,用固定只读场景对照压缩关/开两侧 token 与答案
- 长工具结果(单文件手册或多文件聚合)压力下检查事实覆盖是否被中段裁切
- 对比宿主 toolResultPruner 与内置 line-reducer 在同一场景下的真实数字
适合人员
- DeepSeek Harness 插件与 profile 维护者
- 需要可复现证据而非口号式节省比例的开发者
- 想在换模型或场景前先量化压缩代价的用户