DSH Plugins
返回列表
🤖

dsh-model-failover

模型推理 更新于 2026.08.25

在终端中运行以下命令:

dsh plugin install Letter2025/dsh-model-failover

将以下提示词粘贴到 DeepSeek Harness 对话框中:

要在 DeepSeek Harness 中安装 dsh-model-failover 插件,请运行命令 'dsh plugin install Letter2025/dsh-model-failover',完整源码地址为 https://github.com/Letter2025/dsh-model-failover。

插件介绍

在深度学习模型推理中,模型或服务提供者的不稳定可能导致请求失败和中断。dsh-model-failover 插件专为 DeepSeek Harness 设计,通过两级断路器机制智能处理故障:当某个模型反复失败时,它会自动打开电路并将后续请求路由到配置的回退模型;如果整个提供者下的多个模型同时故障,平台级断路器会介入,全面切换服务。这确保了推理流程的连续性和可靠性,无需修改核心代码。插件还支持恢复探测和与现有重试策略的协同工作,适用于需要高可用性模型服务的开发者,如构建生产级应用的团队或研究人员,他们希望减少因模型故障导致的停机时间并提升用户体验。

使用场景

  • 模型推理服务故障时自动切换回退模型
  • 提供者宕机时保持推理连续性
  • 高并发请求下处理模型限流或超时

适合人员

  • 使用DeepSeek Harness进行模型推理的开发者
  • 需要高可用性推理服务的生产环境用户
  • 关注系统可靠性的AI应用构建者