DSH Plugins
返回列表
🤖

vram-switcher

模型推理 更新于 2026.11.02

在终端中运行以下命令:

dsh plugin install xiaoxiao150/vram-switcher

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install xiaoxiao150/vram-switcher,或按插件市场说明从 https://github.com/xiaoxiao150/vram-switcher 安装并配置 profile.local.json。

插件介绍

在一张 12 GB 显卡上同时跑本地大模型、IndexTTS 语音和 ComfyUI 生图,Windows 往往不会立刻报错,而是把显存换页到内存——进程还在,速度却可能慢两个数量级。VRAM Switcher 面向 AstrBot 与 DeepSeek Harness 上的本地 AI 陪伴场景:人设对话、语音合成和自拍/改图常发生在同一回合里,它需要知道「语音什么时候真正合成完」,而不是只靠 HTTP 或 nvidia-smi 猜状态。

插件在宿主事件边界上,按你 profile 里列出的进程做停/起与就绪等待——例如 ComfyUI 要等 8188 端口在 listen,一批图会先等队列跑空再切服务。它只动白名单内的进程(进程名、命令行过滤、可选端口),AstrBot 插件与 DSH Cordis 工具共用协调锁,避免语音与生图同时抢卡。核心不绑宿主:同一套 vram_switcher 也可接到自研陪伴服务;IndexTTS 侧需配合 tts_busy / tts_ready 文件协议。

若你只是换 llama.cpp 模型、改 base URL,或需要多卡/游戏/VM 的通用 GPU 租约,更适合 llama-swap、berth 等通用调度器。若你在 AstrBot 或 DSH 上跑「LLM + IndexTTS + ComfyUI」且不想加代理、改端口,希望在合成结束后再切显存,本项目就是为此写的。N 卡路径已生产验证;A 卡调度层可用,但各后端组件支持差异需自行对照文档适配。

使用场景

  • 12 GB 单卡上 LLM、语音与生图在同一回合内轮流占显存
  • IndexTTS 合成结束后再切回本地模型,避免换页拖慢对话
  • ComfyUI 出图前停掉 TTS/LLM,队列跑完再恢复其它服务

适合人员

  • 在 AstrBot 上跑本地 LLM + IndexTTS + ComfyUI 的用户
  • DeepSeek Harness 上需要原生 vram_acquire/release 的部署者
  • 单卡显存不够三服务共存、又不想改客户端或加代理的人