dsh-llm-retry-settings
在终端中运行以下命令:
dsh plugin install zeng6125-rgb/dsh-llm-retry-settings
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中安装此插件,请运行 dsh plugin install zeng6125-rgb/dsh-llm-retry-settings。源码地址:https://github.com/zeng6125-rgb/dsh-llm-retry-settings
插件介绍
在使用 DeepSeek LLM 进行模型推理时,网络抖动或特定的服务端错误(如 HTTP 400)常导致请求中断。默认的重试策略虽然基础,但往往难以应对复杂的业务场景,导致不必要的失败或资源浪费。
本插件通过直观的设置卡片,让你能够精细化管理重试行为。它不仅允许覆盖最大重试次数、初始延迟等核心参数,还支持自定义“可重试错误代码”,将特定的失败状态(如推理流错误)纳入重试逻辑,从而显著提升系统的容错性。
这非常适合需要处理不稳定网络环境或对服务稳定性有高要求的开发者和运维人员。通过在设置中实时调整并保存配置,你可以在不修改代码的情况下,快速优化推理服务的健壮性。
使用场景
- 面对不稳定的网络连接时自动重试请求。
- 处理服务端返回的特定 HTTP 错误码(如 400)。
- 调整推理任务的最大重试次数以避免资源浪费。
适合人员
- 需要 DeepSeek LLM 高可用性的开发者。
- 负责模型推理服务的运维工程师。
- 希望自定义错误处理逻辑的技术用户。