dsh-llm-eval
在终端中运行以下命令:
dsh plugin install satan9394/dsh-llm-eval
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install satan9394/dsh-llm-eval 即可安装该插件,完整源码地址为 https://github.com/satan9394/dsh-llm-eval 。
插件介绍
dsh-llm-eval 是 DeepSeek Harness 生态中专注于模型推理场景的评测插件。在 Harness 框架下进行 LLM 集成时,开发者往往缺少一个针对性的评估入口来衡量推理侧的表现,这个插件正是为此而设,为 Harness 工作流补上了 LLM 评测这一环节。
它归属于 model-inference 分类,以插件形态接入 DeepSeek Harness,让使用者能够在已有的 Harness 流水线中直接调用评测能力,无需跳出当前开发环境。项目采用 MIT 协议开源,方便在各类项目中自由集成与二次开发。
适合正在使用 DeepSeek Harness 搭建 LLM 应用、希望在推理链路上加入评测步骤的开发者或团队。如果你已经在 Harness 中跑通了基本推理流程,现在缺的只是一个结构化的评测入口,dsh-llm-eval 可以作为一个起点。
使用场景
- 在 DeepSeek Harness 流水线中加入 LLM 推理评测步骤
- 对模型推理输出进行结构化质量评估
- 在 Harness 工作流中对比不同推理配置的表现
适合人员
- 使用 DeepSeek Harness 搭建 LLM 应用的开发者
- 需要在推理链路上加入评测环节的 AI 工程团队
- 探索 Harness 插件生态的 AI 开发者