dsh-plugin-c2c
在终端中运行以下命令:
dsh plugin install Alyosha28/dsh-plugin-c2c
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install Alyosha28/dsh-plugin-c2c 安装本插件(源码:https://github.com/Alyosha28/dsh-plugin-c2c)。
插件介绍
当多个模型协作时,常见做法是让一方写出完整文本、另一方再读入 token——能写进句子的信息才能传递,内部推理状态往往在交接中丢失。Cache-to-Cache(C2C)的思路是:KV 缓存本身就是模型的“工作记忆”,可以把 sharer 的缓存投影并融合进 receiver,再让 receiver 生成答案,中间不必经过自然语言信道。本插件把 thu-nics/C2C 运行时封装进 DeepSeek Harness,以 c2c_status、models、load、chat、compare、unload 等六种工具驱动整条链路。
核心能力在于本地、闭环的“缓存级协作”:同一提示下可用 c2c_compare 对比“仅 receiver”与“融合 sharer 缓存”两种输出,差异主要来自是否做了投影融合;sharer 与投影在 prompt 阶段跑一次,解码成本与单模型相近,权重可常驻守护进程,避免每次会话重复加载。上游提供多组 fuser 配对(从小模型到更大规模),最小组合可在笔记本上运行;守护进程仅绑定本机,除首次拉取 Hugging Face 权重外不主动外连。
适合已在 DSH 里编排 agent、希望试验“非文本交接”的多模型工作流、并能在本机跑 PyTorch(macOS MPS、Linux CUDA 或 CPU)的开发者与研究者。若你关心的是可复现的论文精度数字,README 明确说明本仓库未复现论文基准,仅验证管线端到端可用且融合会改变输出;把它当作探索性工具,而非已盖章的准确率承诺,会更合适。
使用场景
- 在同一提示下对比 receiver 单独回答与 C2C 融合 sharer 缓存后的回答
- 多步推理或算术题中,希望用小模型组合弥补单模型中途卡住的情况
- 需要在本机闭环运行、不依赖模型间文本交接的实验性工作流
适合人员
- 在 DSH 中编排 agent 工作流并愿意尝试 C2C 的开发者
- 关注 LLM 内部状态传递与多模型融合的研究者
- 具备本机 PyTorch 环境(MPS/CUDA/CPU)且可接受首次下载权重的用户