DSH Plugins
返回列表
dsh-llm-pool

dsh-llm-pool

模型推理 更新于 2026.11.08

在终端中运行以下命令:

dsh plugin install lyingloong/dsh-llm-pool

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 `dsh plugin install lyingloong/dsh-llm-pool`(也可从 https://github.com/lyingloong/dsh-llm-pool 获取源码),安装后重启或刷新客户端。

插件介绍

在 DeepSeek Harness 里,模型往往分散在多个真实服务商上:密钥、限额、可用性各不相同,每次换渠道还会让前缀缓存失效。dsh-llm-pool 把这些渠道收成「一个虚拟服务商」——在模型选择器里像普通渠道一样选 pool 下的统一模型,背后由插件负责路由与容错。

核心能力是统一路由与能力合并:为虚拟 provider 定义 model,并映射到各成员的真实模型 id;上下文窗口、输出上限、推理档位等按保守规则合并,不匹配的渠道会在调用时自动跳过。默认策略是「会话粘性 + 全局负载均衡」:新会话优先分到当前负载最轻的成员,之后同一会话尽量钉在同一渠道,以保住 KV cache;在首 token 产生前失败会静默切到下一个候选,并粘在成功的渠道上。

配套图形化配置与可观测性:在设置 → 模型页底部可新增池、编辑映射、测试流式调用,并查看会话分配、成功/失败、冷却与最近命中。适合已在 DSH 配置多条 provider、希望用一个入口选模型并减少单点故障与人工切换的团队或个人;也适合需要多模型映射、健康冷却与 fail-open 恢复的生产用法。

截图预览

使用场景

  • 多个 API 渠道需要在一个模型菜单里统一选用
  • 希望会话尽量固定在同一渠道以复用前缀缓存
  • 某条渠道限流或故障时自动换成员而不手工改配置

适合人员

  • 已配置多条 DSH 模型渠道的高级用户
  • 需要生产级路由与可观测性的团队
  • 在多服务商之间做模型映射与容错的开发者