dsh-plugin-abtest

调了一条 prompt、改了个阈值就上线，结果发现 token 消耗翻倍或者某个边界用例悄悄退化——DSH Plugin A/B Test 针对的就是这类痛点：在发布之前，把变更前（Control）和变更后（Candidate）放到隔离的 DSH 环境中跑同一组任务，输出逐用例的量化对比证据，让发布决策建立在数据而非感觉之上。\n\n底层机制是启动两套独立 DSH 环境，逐用例配对结果，分别度量任务成功率、token 用量、P95 延迟和工具错误率。最终判定——PROMOTE、REVIEW、REJECT 或 INCONCLUSIVE——由你在实验清单中定义的确定性规则决定，而非模型自行裁判。所有会话事件、断言结果、配对差值及报告以 JSON、Markdown、HTML 三种格式落盘，方便归档、审阅和团队分享。\n\n适合需要在每次插件改动后快速回归验证的维护者，希望把插件发布接入 CI 并拿到明确通过或失败信号的队伍，也适合想先看数字再拍板的开发者。两种运行模式可选：离线脚本 Provider 无需任何 API Key，适合本地快速迭代；实时模型模式可连接固定版本 DSH 或任意 OpenAI 兼容端点，用于更接近生产条件的验证。