dsh-gpu-cleanup
在终端中运行以下命令:
dsh plugin install fataldeity-lab/dsh-gpu-cleanup
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install fataldeity-lab/dsh-gpu-cleanup 安装本插件(源码:https://github.com/fataldeity-lab/dsh-gpu-cleanup),然后重启 Web 宿主并强制刷新浏览器。
插件介绍
本地大模型推理往往会长时间占满 GPU 显存,即使你暂时不用对话,已加载的权重和引擎进程也可能一直挂着。手动找进程、关服务既麻烦,又容易误杀 llama-swap——它是模型调度中枢,关掉之后下次用模型会更折腾。dsh-gpu-cleanup 面向 DeepSeek Harness Web UI,用「一次点击、无二次确认」的方式,把「腾显存」做成日常操作。
点下去后,插件通过宿主进程调用 llama-swap 卸载全部已加载模型,并清扫残留的 llama-server、ninfer-serve、strata 等引擎进程;为不打断正在生成的回复,只会结束启动超过 90 秒的进程。清扫后会复核结果:权限或受保护进程杀不掉时会如实提示「仍驻留」,同时确认 llama-swap(11435)仍在线,并把剩余引擎写进日志。浏览器因跨端口与 CORS 无法直连 llama-swap,因此实际控制服务只监听本机 127.0.0.1:11436,设置页与对话页右上角各有一个入口,分别适合看完整日志和在聊天时随手释放。
适合在 DSH 0.2.x 环境下、配合 llama-swap 做本地推理的用户:需要偶尔把显存让给别的任务,又不想重启整套栈,也不希望误关调度器。它不碰 ComfyUI、Ollama 和模型文件,也不杀刚起来的新引擎——边界清晰,适合当作 Web UI 里的「显存回收」按钮常备。
使用场景
- 对话结束后想立刻把显存让给别的程序或模型
- 多模型切换后残留引擎进程仍占用 GPU
- Web UI 里不想手动找进程又需要保留 llama-swap
适合人员
- 使用 DSH Web UI 与 llama-swap 的本地推理用户
- 需要在同机跑多任务、常要腾显存的开发者
- 希望一键操作、不想误关调度器的人