DSH Plugins
返回列表
🤖

dsh-plugin-model-eval

模型推理 更新于 2026.11.15

在终端中运行以下命令:

dsh plugin install ZhangZhengruiNUS/dsh-plugin-model-eval

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 插件管理界面执行 dsh plugin install ZhangZhengruiNUS/dsh-plugin-model-eval 完成安装,完整仓库地址见 https://github.com/ZhangZhengruiNUS/dsh-plugin-model-eval。

插件介绍

在多条模型路线、不同量化与生成参数并存时,很难凭直觉判断「当前任务该用哪套配置」。Model Coordinates 是挂在 DeepSeek Harness 上的本地选型工具:它对你已在宿主里配置好的模型发起结构化评测,把能力、响应速度与可得用量放在同一张对比看板上,并保留每次运行与逐题证据,方便事后核对而不是只看一个总分。

当前提供通用能力评测的轻量 1.0 与深入 1.0,以及独立的中文写作 1.0;三项协议各自升版。通用侧覆盖知识推理、资料理解、指令遵循、代码、工具使用五类子能力,写作侧用裁判按五维量表判分。支持多配置并排跑、模型对比矩阵、用时参考与测速粗估;资源准备与历史读取不调用模型,正式评测与裁判评分走 DSH 的 prepared-call,不内置密钥。

适合需要在 Windows x64、DSH 0.2.2-rc.1 环境下做严肃比选的开发者与团队:要在本地判分资源就绪的前提下做批量对比,在意任务综合分与真实任务耗时(而非用调用时间冒充),并需要补测、归档旧协议成绩或更换写作裁判时仍能追溯明细的人。若你只希望偶尔聊天试模型、不关心可复现的评测协议,这个插件会显得偏重。

使用场景

  • 在多条部署或量化路线间选定默认推理配置
  • 上线前对比轻量与深入通用能力及任务耗时
  • 为中文写作任务更换裁判并保留可核对明细

适合人员

  • 在 DSH 中管理多模型配置的开发者
  • 需要可复现基准而非主观试聊的团队
  • 关注任务耗时、用量与归档评分的评测维护者