🤖

inference-serving

模型推理更新于 2026.10.18

在终端中运行以下命令：

dsh plugin install xiciyang/inference-serving

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在 DeepSeek Harness 中执行 dsh plugin install xiciyang/inference-serving 安装本插件（源码：https://github.com/xiciyang/inference-serving），安装后重启生效。

插件介绍

把模型权重目录真正变成别人能调用的推理端点，往往卡在「进程挂了、端口占了、显存不够、配置写错却以为成功」这类运维细节上。inference-serving 把部署当成一条可重复执行的流水线：探测环境、选后端、部署载体，再用三关健康检查确认模型不仅能起进程，还能完成真实前向；任一步失败会先按证据驱动的降级链尝试自救，仍不行再回滚并验证无残留。

核心能力围绕「可运营」而不是「能跑 demo」：同一模型与配置重复部署得到同一端点；rollback 回到上一个已验证版本；teardown 逐项核对进程、显存与端口；每一步写入哈希链审计日志，删改可检出。插件还自带状态核对、孤儿载体对账、策略化风险确认与三层沙箱约束，让写操作有边界、有留痕。

适合在自有机器或内网环境上长期托管 vLLM 类推理服务的人——你需要降级、回滚、审计与对账这一层运营能力，而不是托管云上的一键端点。若只想临时 vllm serve 看个效果，本插件会显得过重；若要在 DSH 或 MCP 客户端里把部署做成可审计、可自动化的工具，它会更贴切。