dsh-local-llm
在终端中运行以下命令:
dsh plugin install verson00/dsh-local-llm
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中打开「插件 → 添加插件」,填入源码地址 https://github.com/verson00/dsh-local-llm 安装,或在终端执行 dsh plugin install verson00/dsh-local-llm。
插件介绍
想在 DeepSeek Harness 里跑一台本机小模型,却不想和手动脚本、路由配置、上下文压缩各搞一套,是这个插件想收拢的事。它把 llama.cpp 上的 Qwen3.5-4B 收进设置页的「本地模型」:启停、参数、路径检测、与 cordis 里 local-qwen 的路由和 compaction 对齐,外加一个只看请求形状的诊断代理,以及让在线 agent 把翻译、摘要、OCR、抽帧这类杂活丢给本地 4B 的混合工作流。
核心能力可以概括成六块:服务状态与和外部 start.ps1 共存的 pid/日志;可按显存调的启动参数与 .gguf 扫描;四项部署路径与「检测」;写 patch 同步窗口与本地专用压缩策略,避免小窗口下每步都压爆;loopback 代理回放 DSH 真实请求结构而不落盘正文;local_worker 工具与默认委托规则,并强制关闭本地思考以免吃光输出预算。
适合已经或打算在 Windows 本机用 Qwen3.5-4B GGUF(含可选视觉)的 DSH 0.2.x 用户:想省云 token、把轻量任务留在 GPU 上,又希望页面里能看见状态、改 ctx、跟路由一致。插件零依赖装进 profile 即用;spawn 环境不稳时仍可外部起 llama-server,页面会认「已就绪(外部启动)」并照常联动路由与工作流。
使用场景
- 在 DSH 设置页一键启停本机 Qwen3.5-4B,并按显存调整上下文与视觉参数
- 让在线 agent 通过 local_worker 把翻译、摘要、OCR 和抽帧交给本地 4B
- 用请求捕获代理查看真实请求形状,并同步 local-qwen 路由与压缩策略
适合人员
- 在 Windows 本机用 llama.cpp 跑 Qwen GGUF 的 DSH 用户
- 希望省云 token、把轻量任务留给本地小模型的开发者
- 需要在页面里管理路由、压缩与诊断的 DSH 0.2.x 使用者