dsh-fastcel
在终端中运行以下命令:
dsh plugin install DavidCarliez/dsh-fastcel
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install DavidCarliez/dsh-fastcel(源码:https://github.com/DavidCarliez/dsh-fastcel),安装完成后在无正在生成的回复时重启 Harness。
插件介绍
Vercel AI Gateway 为同一模型对接多家提供商,实测吞吐可以从几十 tok/s 到数百 tok/s 相差数倍。若完全交给网关默认路由,对话往往落在并非最快的那条线上,首包和持续生成都会拖慢体验。
dsh-fastcel 在每次发往 ai-gateway.vercel.sh 的推理请求里,依据公开的端点统计(与 vercel.com 模型页同源)按近一小时中位吞吐为提供商排序,并通过 providerOptions.gateway.order 把最快者优先交给网关;若首选失败则按顺序回退。它会自动把已弃用、近期成功率不足、不支持工具或上下文不够的提供商排到队尾,且不会覆盖请求里已有的路由设置。
网关默认的会话亲和会在首条消息后尽量留在同一提供商以保 prompt 缓存;插件界面会展示当前模型的速度排行,以及本会话上一条回复实际走的线路。适合已在 Harness 的 pi-ai 适配器上配置 Vercel AI Gateway、并希望在不改模型名的前提下尽量吃满网关里最快线路的用户。
使用场景
- 日常对话希望网关尽量走当前最快的提供商
- 多提供商模型需要对比吞吐并确认实际上线线路
- 工具调用或长上下文时要自动避开不合适的提供商
适合人员
- 已在 Harness 配置 Vercel AI Gateway 路线的用户
- 在意首包与生成速度、不想手改路由参数的人
- 使用 web profile 并需要会话内路由面板与 /fastcel 命令的用户