dsh-llm-rate-limiter
在终端中运行以下命令:
dsh plugin install Leafyezi233/dsh-llm-rate-limiter
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 配置目录或 profile 中执行 dsh plugin install Leafyezi233/dsh-llm-rate-limiter,即可从 https://github.com/Leafyezi233/dsh-llm-rate-limiter 安装该插件(亦可用 npm 将依赖写入 profile 的 package.json)。
插件介绍
在 DeepSeek Harness 里跑多 Agent、多模型时,并发和每分钟请求数很容易顶到各家 API 的硬限制,轻则排队拖慢整轮对话,重则连续 429 把任务打断。dsh-llm-rate-limiter 在 llm/stream 瀑布流的每一层拦截每次 LLM 调用,按 provider/model 单独计数与限流,而不是用一条全局配额糊过去。
你可以为每个模型设定最大并发、RPM、突发容量,并在令牌桶(允许可控突发)与滑动窗口(平滑、严格 RPM)之间选择。触顶时可选队列模式让请求等空位,或拒绝模式立即失败,后者可与 dsh-llm-retry 等重试插件配合做退避。设置页提供可折叠卡片与实时状态面板(计数、进度条、事件日志),改配置热重载生效,无需重启。
适合经常混用多家模型、需要精细控流或希望等待与立刻失败可切换的 DSH 用户;也适合在本地或团队环境里先设好默认与 per-model 覆盖,再靠面板观察 granted、rejected 与等待时间,避免盲目加并发。
使用场景
- 多 Agent 同时调用多家模型,需要避免触发 API 429 或配额耗尽
- 希望不同模型使用不同的并发与 RPM,而不是全局一刀切
- 需要在限流时选择排队等待或与重试插件配合的立即拒绝策略
适合人员
- 在 DSH 中频繁使用 LLM 的开发者与运维
- 混用多 provider、多模型的团队或个人用户
- 需要可观测限流状态并热更新配置的用户