dsh-pref-kit
在终端中运行以下命令:
dsh plugin install gameswu/dsh-pref-kit
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中安装 dsh-pref-kit 插件,请使用命令 'dsh plugin install gameswu/dsh-pref-kit',完整源码地址为 https://github.com/gameswu/dsh-pref-kit。
插件介绍
在 DSH(Data Stream Handler)框架中进行模型推理时,流式输出的相邻文本增量会产生大量细粒度事件。这些事件在长会话和多agent并发场景下导致明显卡顿和资源占用过高,影响用户体验和系统效率。dsh-pref-kit 插件通过在数据流源头合并这些增量来解决这一问题,核心能力包括默认开启的流式合并功能,可将事件量减少11%至56%,并同步降低内存、磁盘和带宽使用。此外,插件提供配置卡片方便调整,以及实验开关如替换轨迹视图和运行时行管理,进一步优化性能。这款插件适合使用DSH的开发者、数据科学家和系统管理员,尤其是处理长对话历史、多agent协作或高并发请求的用户,能有效提升推理性能并减少资源压力。
使用场景
- 长会话中减少事件量以提升流畅度。
- 多agent并发推理时降低资源占用。
- 优化流式输出的传输效率。
适合人员
- 使用DSH框架的模型推理开发者。
- 处理复杂会话场景的数据科学家。
- 关注系统性能的管理员和运维人员。