DSH Plugins
返回列表
🤖

dsh-llm-sampling

模型推理 更新于 2026.08.21

在终端中运行以下命令:

dsh plugin install kuma-loong/dsh-llm-sampling

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中运行 command_install 安装命令,插件源码来自 https://github.com/kuma-loong/dsh-llm-sampling,安装后在 settings.yaml 中配置 llm-sampling 节即可生效。

插件介绍

在基于 DeepSeek Harness 构建的多模型推理流水线中,每次调用都需手动传入 temperature、topP、topK 等采样参数,既繁琐又容易因遗漏导致输出质量波动。dsh-llm-sampling 将采样策略提升为部署级配置:只需在 settings.yaml 中为指定的 provider/model 路由声明一组完整参数,插件便会在 agent/request 瀑布中覆盖上游提案,确保该路由上的每个请求都携带一致的生成分布。

插件不修改 prompt 文本或工具 schema,也不增加任何 token,仅改变采样分布本身。当 reasoningEffort 被显式设为 off 时,off 画像会叠加在默认画像之上;未配置的路由则原样透传。这意味着你可以为不同模型锁定不同的 topK/minP 组合,同时在推理模式切换时获得确定性的参数回退,而无需在业务代码中散落条件分支。

适合需要在多 provider、多模型环境中统一生成行为的质量与成本场景;适合希望将采样策略从调用方剥离、收敛到基础设施层的平台工程团队;也适合需要为 A/B 实验或合规审计提供可追溯的每路由固定参数记录的组织。

使用场景

  • 为指定 provider/model 路由锁定统一的 temperature、topP、topK 参数
  • 在 reasoningEffort 切换时自动叠加预设采样画像
  • 在多 provider 环境中收敛每个请求的生成分布行为

适合人员

  • 构建多模型推理平台的工程团队
  • 需要统一生成行为的质量与合规团队
  • 希望将采样策略收敛到基础设施层的架构师