dsh-llm-auto-route
在终端中运行以下命令:
dsh plugin install qinyu765/dsh-llm-auto-route
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中运行 dsh plugin install qinyu765/dsh-llm-auto-route 安装 dsh-llm-auto-route 插件,源码地址为 https://github.com/qinyu765/dsh-llm-auto-route 。
插件介绍
在 DeepSeek Harness 中同时配置了 DeepSeek、OpenAI、Anthropic、Ollama 或 vLLM 等多条 LLM 路由时,每次请求都要手动指定 provider 既繁琐又容易出错。dsh-llm-auto-route 充当一条纯粹的路由策略层:它通过 API key 环境变量、LLM_BASE_URL 端口号、模型前缀等信号自动发现最合适的已注册路由,并以可解释的方式给出选择理由,全程不暴露凭据。
它的故障转移策略刻意保守:只有在文本、推理、工具调用或块级输出尚未产生之前才允许切换到备用路由;一旦已有可见输出、请求被取消、或用户显式指定了 provider,就绝不重试。这确保了同一轮对话不会被拼接出两个不同模型的半截回答。
如果你希望在多 provider 环境下免去每次手写 provider 的负担,同时保留对本地网关(Ollama 11434、vLLM 8000)和云端 API 的混合调度,这条插件就是为此而生的。它不实现任何 HTTP 协议、不捆绑 SDK、不注册适配器路由,只在你已有的 dsh-llm-pi-ai 路由目录里做选择与解释,保持官方插件的职责边界不被侵入。
使用场景
- 多 provider 环境下自动选择最合适的 LLM 路由并解释决策理由
- 本地 Ollama 或 vLLM 与云端 API 混合调度的统一路由入口
- 首 token 可见输出前的保守 failover,避免拼接两个模型的半截回答
适合人员
- 同时配置了多条 LLM 路由的 DeepSeek Harness 用户
- 需要本地网关与云端 API 混合部署的 AI 应用开发者
- 希望免去每次请求手动指定 provider 的工程团队