DSH Plugins
返回列表
🤖

dsh-plugin-local-llm

模型推理 更新于 2026.11.01

在终端中运行以下命令:

dsh plugin install umerkhalid204/dsh-plugin-local-llm

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install umerkhalid204/dsh-plugin-local-llm,或前往 Settings → Plugins 安装来自 https://github.com/umerkhalid204/dsh-plugin-local-llm 的打包插件。

插件介绍

想在 DeepSeek Harness 里用本机跑的模型,却不想为每一套本地服务单独写适配层,这是常见痛点。本插件把 LM Studio、Ollama、Strata、Lemonade 以及任意 OpenAI 兼容端点(如 llama.cpp、vLLM、LocalAI)登记成与普通云端路由相同的提供者,Agent 在 Composer 模型选择器里即可像选托管模型一样选中本地路线。

各引擎默认指向本机常见端口,并通过各自方言拉取或补充模型目录:例如 LM Studio 可 enrich 加载状态与量化信息,Ollama 从 tags 解析体量,Strata 需在配置里声明 pack 名称与上下文窗口。五类引擎均走 /v1/chat/completions;local-openai 默认关闭,避免多个引擎争抢同一端口。以安装包形式安装后,Settings 的 Models 页可配置端点、启用状态与模型清单;提供者 id 若已被其他适配占用,本插件不会抢注,仍会扫描并在目录中呈现可用端点。

适合已在本地跑推理、希望 Composer 会话默认或按需切到本机模型,又希望配置集中在 Harness 设置里的开发者与进阶用户。插件不提供 Composer 侧 dock 或 chip,本地模型只出现在模型选择器与设置中。

使用场景

  • 日常开发希望 Agent 走本机 Ollama 或 LM Studio,避免 API 费用与出网
  • 需要在 Harness 里为 Strata、Lemonade 等本地服务统一登记模型路由
  • 离线或内网环境仍要在 Composer 中选模型并完成对话与工具调用

适合人员

  • 在本机部署 LLM 的开发者
  • 重视数据留在本地的进阶 Harness 用户
  • 维护多种本地 OpenAI 兼容推理后端的运维者