DSH Plugins
返回列表
🧰

dsh-livebench-panel

联网工具 更新于 2026.09.12

在终端中运行以下命令:

dsh plugin install Vithrive/dsh-livebench-panel

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 终端中执行 dsh plugin install Vithrive/dsh-livebench-panel 即可安装,插件源码见 https://github.com/Vithrive/dsh-livebench-panel 。

插件介绍

跑一次 LiveBench 评测,过去意味着开终端、拼一长串参数、盯日志、再手动翻 JSONL 算分。dsh-livebench-panel 把这件事收进 dsh web 轨迹视图右侧的一个标签页里:选模型、选分类、点「开始」,剩下的交给本机 LiveBench 进程。

面板提供完整的选参体验——所有 provider 的全部模型分组展示,推理强度编码进条目名让不同档位的跑分天然独立可对比,题集 release、六大分类、具体任务、题目序号范围、max-tokens 全部下拉选完即可启动。最多 9 个模型并发、每 2.5 秒轮询一次日志,成绩表直接从 ground-truth 判定文件算出模型 × 任务的平均分,支持排序、拖拽行序和删除历史记录,不必等 LiveBench 自己出榜。此外还内置了 Baseline 题库(探针):用参考模型的实测对错当尺子,几道「参考模型做不出的题」就能快速判断一个新模型大概处在哪个档位。

适合已经在 dsh web 工作流里做对话、编码或工具调用的开发者,以及需要频繁对比多个模型在 LiveBench 各分类上表现的评测者。只要你本机已经备好 LiveBench 环境和评测 venv,装完插件打开轨迹视图就能上手,不用再记 CLI 参数。

使用场景

  • 快速评估新模型在 LiveBench 六大分类上的得分表现
  • 用 Baseline 探针题集几道题定位模型能力档位
  • 多模型并发跑分并对比不同推理强度的成绩差异

适合人员

  • 在 dsh web 工作流中日常做对话与编码的开发者
  • 需要频繁对比多模型 LiveBench 成绩的评测者
  • 已部署 LiveBench 本地环境并寻找图形化控制台的工程师