⚙️

inference-quantization

工作流更新于 2026.10.20

在终端中运行以下命令：

dsh plugin install xiciyang/inference-quantization

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在 DeepSeek Harness 中执行 dsh plugin install xiciyang/inference-quantization，从 https://github.com/xiciyang/inference-quantization 安装 inference-quantization 插件后重启或刷新配置即可使用。

插件介绍

模型量化后，团队往往只能看到「perplexity 掉了 0%」这类数字，却难以判断：阈值是不是量化工具自己定的、校准集有没有泄漏进测试集、甚至源模型是否完整。inference-quantization 的定位不是再包一层 llmcompressor 配方，而是在容器内执行 PTQ（默认 AWQ + INT4）之后，用可审计的流程回答「这次量化能不能签收」。

核心能力是两道彼此独立的硬门禁：精度门禁在内容哈希去泄漏的切分上比较 perplexity 变化，且阈值必须由调用方传入或来自 gates.yaml，插件不设默认精度上限；测量成立性门禁则拦截均匀输出、无区分力或与输入无关等「数学上好看、语义上无意义」的结果，避免坏模型被误签为零损失。量化前还有源模型结构预检，源目录只读并在前后做内容哈希校验；每次运行写入 hash 链审计，并支持有界降级（INT4→INT8→FP8→W8A16→仅 QAT 计划）。

它还提供 validate 验收已有量化 checkpoint（不重新量化）、report/list/rollback、dataset 去泄漏复核，以及通过 MCP 与 inference-serving 衔接部署验证。真实量化路径需要 GPU、容器运行时和已验证的量化镜像；缺镜像或条件不满足时会给出 E_METHOD_UNAVAILABLE 等明确失败，而不是静默通过。

适合需要在 CI 或工作流里「量化并证明达标」的 MLOps、推理平台与 agent 工作流维护者。若你只想直接跑 AutoAWQ/llmcompressor 脚本而不关心门禁、降级与审计，这个插件会显得过重；若你关心可复现签收与可追责失败，它正是围绕证明层设计的。