DSH Plugins
返回列表
🖥️

dsh-plugin-llama-manager

客户端 更新于 2026.11.09

在终端中运行以下命令:

dsh plugin install ckilwork/dsh-plugin-llama-manager

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install ckilwork/dsh-plugin-llama-manager(源码仓库:https://github.com/ckilwork/dsh-plugin-llama-manager),安装后完全退出并重启 DSH 即可在左侧栏看到「本地模型」。

插件介绍

在 DeepSeek Harness 里跑本地大模型,往往要在设置里反复填路径、记端口,还要自己起停 llama-server,体验和云端模型切换也不在同一套界面里。dsh-plugin-llama-manager 把这件事收成左侧栏里的「本地模型」整页工作台:模板化管理多套启动方案,参数改动能看见未保存提示,启停与状态(PID、运行时长、就绪、异常原因)一目了然。

核心能力围绕「配好就能用、接上就能聊」展开:自动扫描模型目录中的 .gguf、mmproj、草稿模型(含 MTP / EAGLE3)以及 llama-server.exe,路径可下拉复用并记住最近使用;启动参数覆盖模型、上下文、GPU 层数、端口、并行槽位、Flash Attention、KV 缓存、空闲自动卸载等,并提供与真实启动一致的命令预览(API Key 脱敏)。运行中有合流着色的实时日志,并可从日志解析 token 速度;右侧连通测试可对 OpenAI 兼容的 /v1/chat/completions 发最小请求验证延迟与模型名。

插件还会在启动时把 llama-manager 提供方登记到当前 profile,模型选择器里按启动模板展示可选模型;请求经本地代理转发到 llama-server,生成过程中不会切换模型以免截断流式输出。可选的 Agent 提示词方案按模板绑定注入,默认关闭且保留 DSH 原有系统提示词。数据落在 DSH_HOME(或 .dsh)下的 llama-manager 目录,HTTP 接口仅接受回环地址。

适合在 Windows 上已安装 DeepSeek Harness Desktop 或 DSH Web、本地已有 llama.cpp 的 llama-server 与至少一个 GGUF 模型的用户:希望用模板反复试验不同参数、需要空闲释放显存、又想在 DSH 顶部模型选择器里像选云端模型一样选本地模板的人。

使用场景

  • 在 DSH 里用模板一键启停 llama-server,不用每次手敲路径和参数
  • 多套 GGUF 配置对比 GPU 层数、上下文与草稿模型,空闲后自动卸载释放显存
  • 在顶部模型选择器选本地模板聊天,连通测试确认端口与模型是否就绪

适合人员

  • Windows 上使用 DSH Desktop 或 Web 的本地推理用户
  • 已安装 llama-server 与 GGUF 模型、希望图形化管模板的人
  • 需要在 Harness 里统一选本地与云端模型、并做 Agent 提示词绑定的开发者