🤖

dsh-ttft-hedge

模型推理更新于 2026.10.15

在终端中运行以下命令：

dsh plugin install r-ayin/dsh-ttft-hedge

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在 DeepSeek Harness 中执行 dsh plugin install r-ayin/dsh-ttft-hedge 即可安装插件（源码：https://github.com/r-ayin/dsh-ttft-hedge）。

插件介绍

流式调用大模型时，首 token 时间（TTFT）往往决定体验是否「跟得上」。当中继或上游偶发变慢、迟迟不返回响应头时，单一路径只能干等，用户会感觉对话卡住。本插件面向发往 LLM 中继 /v1/messages 的流式请求，用对冲（hedged request）在 deadline 内未收到响应头时并行发出第二个请求，先到先用，把等待从单点赌运气变成可预期的竞速。

核心逻辑很克制：5xx 与 504 会立即重抽，尽量绕过短暂故障；4xx 与 429 则原样返回，不把鉴权、限流等问题误当成可重试的抖动。插件还提供统计工具与 stats 文件，便于你在真实流量里观察对冲是否带来 TTFT 改善，以及重试与错误分布是否符合预期。

适合已经通过 dsh 接入 LLM 中继、对流式 /v1/messages 延迟敏感的场景——例如对话产品、编码助手或任何需要「尽快看到第一个字」的集成。若你关心的是吞吐或批处理而非首包时间，对冲带来的额外并行请求需要自行权衡。