dsh-llm-aimux
在终端中运行以下命令:
dsh plugin install arcships/dsh-llm-aimux
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 终端中执行 dsh plugin install arcships/dsh-llm-aimux 即可安装,插件源码仓库为 https://github.com/arcships/dsh-llm-aimux 。
插件介绍
DeepSeek Harness 内置的 llm-pi-ai 适配器覆盖了主流模型路由,但当你的工作流涉及中继网关、小众提供商或需要同时挂载数十条路由时,逐一维护适配器很快就会成为负担。dsh-llm-aimux 把 aimux——一个用 Rust 编写的统一 LLM 访问层,内置 325 余家提供商(含 251 个 OpenAI 兼容入口)——封装成一条 dsh 模型路由,一个适配器即可覆盖绝大多数推理端点。
核心体验围绕「热切换」与「流式」展开:在 Web 模型页或 settings.yaml 中增删路由后,registration.replace 立即生效,无需重启进程。流式聊天支持 tool call(原始 JSON 参数)和 reasoning 块的原生进出,token 用量按缓存读/写拆分统计,每次外发请求携带 attribution 头。若路由指向自建中继或网关,可按路由覆盖 baseUrl 与自定义请求头;模型元数据通过 aimux 的运行时 /models 发现与社区目录合并,直接喂给模型页卡片和上下文窗口解析。流式空闲看门狗(默认 300 秒)防止挂起的 chunk 阻塞调用链。
适合的场景:需要同时挂载多提供商并随时热切换的 dsh 用户;运营中转/网关、希望按路由配置端点覆盖的团队;以及想在单一 harness 内统一纳管 DeepSeek、Groq、OpenAI 兼容 API 等 325+ 推理端点的开发者。
使用场景
- 在 dsh 中同时挂载 DeepSeek、Groq、OpenAI 兼容 API 等 325+ 推理端点
- 运营自建中继或网关,按路由覆盖 baseUrl 与自定义请求头
- 在模型页或 settings.yaml 中热切换路由,无需重启进程
适合人员
- 需要统一管理多提供商推理端点的 dsh 开发者
- 运营中转或网关、希望按路由配置端点的团队
- 追求流式 tool call 与 reasoning 块原生支持的 AI 应用开发者