dsh-llm-pool
在终端中运行以下命令:
dsh plugin install lyingloong/dsh-llm-pool
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 `dsh plugin install lyingloong/dsh-llm-pool`(也可从 https://github.com/lyingloong/dsh-llm-pool 获取源码),安装后重启或刷新客户端。
插件介绍
在 DeepSeek Harness 里,模型往往分散在多个真实服务商上:密钥、限额、可用性各不相同,每次换渠道还会让前缀缓存失效。dsh-llm-pool 把这些渠道收成「一个虚拟服务商」——在模型选择器里像普通渠道一样选 pool 下的统一模型,背后由插件负责路由与容错。
核心能力是统一路由与能力合并:为虚拟 provider 定义 model,并映射到各成员的真实模型 id;上下文窗口、输出上限、推理档位等按保守规则合并,不匹配的渠道会在调用时自动跳过。默认策略是「会话粘性 + 全局负载均衡」:新会话优先分到当前负载最轻的成员,之后同一会话尽量钉在同一渠道,以保住 KV cache;在首 token 产生前失败会静默切到下一个候选,并粘在成功的渠道上。
配套图形化配置与可观测性:在设置 → 模型页底部可新增池、编辑映射、测试流式调用,并查看会话分配、成功/失败、冷却与最近命中。适合已在 DSH 配置多条 provider、希望用一个入口选模型并减少单点故障与人工切换的团队或个人;也适合需要多模型映射、健康冷却与 fail-open 恢复的生产用法。
截图预览
使用场景
- 多个 API 渠道需要在一个模型菜单里统一选用
- 希望会话尽量固定在同一渠道以复用前缀缓存
- 某条渠道限流或故障时自动换成员而不手工改配置
适合人员
- 已配置多条 DSH 模型渠道的高级用户
- 需要生产级路由与可观测性的团队
- 在多服务商之间做模型映射与容错的开发者