🤖

dsh-ninfer

模型推理更新于 2026.10.21

在终端中运行以下命令：

dsh plugin install averyjohnkucan-arch/dsh-ninfer

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在 DeepSeek Harness 中打开「插件 → 添加插件 → GitHub」，粘贴 https://github.com/averyjohnkucan-arch/dsh-ninfer 后安装并启用，再在「设置 → 模型 → NInfer」中使用。

插件介绍

若你想在 DeepSeek Harness 里直接跑本地 NInfer 推理，而不是另起一套管理界面或改 Harness 核心，dsh-ninfer 把模型与服务端配置收进「设置 → 模型 → NInfer」。它是即装即用的 Cordis 包：不补丁 DSH、不替换 UI、也不强制再拉一套 provider 依赖或编译步骤，适合已在 Web 配置下使用 Harness 的用户。

核心能力围绕「可编辑的服务端档案」展开：从主机目录多选模型文件，自动解析并分配主模型、分片、视觉投影与 MTP，并提示缺失分片或不兼容格式；启动前可安装缺失的运行时与模型包（可取消、可看进度），也可选用已有引擎与已导入数据。保存后模型会出现在对话模型选择器；支持编辑、删除档案（保留权重文件）、附着已在外部运行的同 model ID 服务，以及暴露引擎 CLI 的完整选项、环境变量与 JSON 配置。

插件通过 Host 注册 LlmAdapter 与独立 Web 路由，UI 走官方 settings.models.footer 槽位与主题；Agent 侧 ninfer_models 工具与卡片共用同一套操作与审批机制。内置 Qwen3.8 27B 参考档案便于对照本地路径与端口习惯；可按档案配置 reasoning 等级并在选择器里展示。运行时默认从 pinned 的 ninfer-all 镜像拉取经校验的 Linux x86_64 Blackwell 可执行文件，其它平台需自行指定兼容的 ninfer-serve；权重不会随插件静默下载。可选配合 dsh-model-scheduler 做 GPU 共享与排队切换。

适合：已有 .ninfer 模型产物、希望在 DSH 内统一管理本地 NInfer 服务与推理参数的高级用户；需要附着外部已启动服务或精细调 CLI/环境的人。若你依赖 GGUF 转 NInfer、或需要插件自动校准调优，README 明确这些不在本插件范围内。