dsh-route-resilience
在终端中运行以下命令:
dsh plugin install lokic7123-star/dsh-route-resilience
将以下提示词粘贴到 DeepSeek Harness 对话框中:
要在 DeepSeek Harness 中安装 dsh-route-resilience 插件,请运行命令 dsh plugin install lokic7123-star/dsh-route-resilience,或从完整源码地址 https://github.com/lokic7123-star/dsh-route-resilience 克隆并构建。
插件介绍
在模型推理场景中,单一提供者路由的故障可能导致整个服务中断,影响可靠性和用户体验。dsh-route-resilience 插件通过将多个路由分组为虚拟模型组,实现了智能负载均衡和自动故障转移,当路由遇到限流、超时或认证错误时,能无缝切换到健康路由,同时隔离永久失效的路由。它提供可观测性端点和 Web 管理界面,让运维人员实时监控路由状态并调整配置。这个插件适合使用 DeepSeek Harness 的开发者和团队,尤其是生产环境中需要高可用性和容错能力的应用,专注于提升服务连续性而不绕过配额限制。
使用场景
- 当单一提供者路由遇到限流或故障时,确保模型推理服务不中断。
- 在生产环境中,需要多路由备份以提升服务可靠性和连续性。
- 监控和管理多个 API 路由的健康状态,实现智能故障转移。
适合人员
- 使用 DeepSeek Harness 进行模型推理的开发者和团队。
- 需要部署高可用 AI 应用的运维工程师。
- 关注服务可靠性和容错能力的产品负责人。