llm-adaptive
在终端中运行以下命令:
dsh plugin install dylan121322/llm-adaptive
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中,您可以使用命令 dsh plugin install dylan121322/llm-adaptive 安装此插件,完整源码地址为 https://github.com/dylan121322/llm-adaptive。
插件介绍
在管理多个大语言模型后端时,手动选择模型既耗时又容易出错。llm-adaptive 插件为 DeepSeek Harness 提供了一个智能解决方案:它通过快速分类器自动评估每个请求的复杂度(低、中、高、关键),并根据预配置的路由链将请求定向到最合适的后端。这不仅简化了工作流程,还提升了资源利用率和响应质量。
该插件的核心能力在于其灵活性和可靠性。它支持上下文感知判断,结合会话目标和最近对话来优化分类;粘性级别保护确保任务进行中不会意外降级;配置驱动的路由链从 pool.json 读取,使调整即时生效。此外,决策缓存和可观察日志提供了透明性,而 fail-open 机制保证请求永不被阻塞。
llm-adaptive 特别适合使用 DeepSeek Harness 的开发者、数据科学家或团队,他们需要管理多个 LLM 后端并追求自动化、高效的路由。无论是日常开发还是生产环境,该插件都能帮助用户动态优化模型选择,专注于核心任务。
使用场景
- 当有多个LLM后端时,自动根据请求复杂度选择模型。
- 在需要动态优化模型使用的应用中,实现智能路由。
- 避免手动选择,提升响应速度和资源利用率。
适合人员
- 使用DeepSeek Harness进行开发的程序员。
- 管理多个LLM后端的技术团队。
- 关注AI应用性能和自动化的数据科学家。