DSH Plugins
返回列表
🤖

dsh-llm-auto-route

模型推理 更新于 2026.08.25

在终端中运行以下命令:

dsh plugin install qinyu765/dsh-llm-auto-route

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中运行 dsh plugin install qinyu765/dsh-llm-auto-route 安装 dsh-llm-auto-route 插件,源码地址为 https://github.com/qinyu765/dsh-llm-auto-route 。

插件介绍

在 DeepSeek Harness 中同时配置了 DeepSeek、OpenAI、Anthropic、Ollama 或 vLLM 等多条 LLM 路由时,每次请求都要手动指定 provider 既繁琐又容易出错。dsh-llm-auto-route 充当一条纯粹的路由策略层:它通过 API key 环境变量、LLM_BASE_URL 端口号、模型前缀等信号自动发现最合适的已注册路由,并以可解释的方式给出选择理由,全程不暴露凭据。

它的故障转移策略刻意保守:只有在文本、推理、工具调用或块级输出尚未产生之前才允许切换到备用路由;一旦已有可见输出、请求被取消、或用户显式指定了 provider,就绝不重试。这确保了同一轮对话不会被拼接出两个不同模型的半截回答。

如果你希望在多 provider 环境下免去每次手写 provider 的负担,同时保留对本地网关(Ollama 11434、vLLM 8000)和云端 API 的混合调度,这条插件就是为此而生的。它不实现任何 HTTP 协议、不捆绑 SDK、不注册适配器路由,只在你已有的 dsh-llm-pi-ai 路由目录里做选择与解释,保持官方插件的职责边界不被侵入。

使用场景

  • 多 provider 环境下自动选择最合适的 LLM 路由并解释决策理由
  • 本地 Ollama 或 vLLM 与云端 API 混合调度的统一路由入口
  • 首 token 可见输出前的保守 failover,避免拼接两个模型的半截回答

适合人员

  • 同时配置了多条 LLM 路由的 DeepSeek Harness 用户
  • 需要本地网关与云端 API 混合部署的 AI 应用开发者
  • 希望免去每次请求手动指定 provider 的工程团队