computer-control

当 AI 代理需要真正操作一台桌面电脑时，它需要一条可靠且安全的底层通道。computer-control 正是为 dsh 代理填补这一空缺的插件：它让模型能够截取屏幕进行观察、注入精确的鼠标与键盘事件，并通过 Windows UIA 辅助功能树执行语义操作，而非单纯依赖易出错的像素坐标点击。插件提供了完整的能力集——全屏幕或区域截图（支持缩放与灰度）、指针移动/单击/双击/拖拽/滚轮、单键/组合键/任意 Unicode 文本输入、辅助功能树层级摘要与语义激活，以及批量执行以减少模型往返次数。坐标系采用画布缩放机制，正确处理多显示器与逐显示器 DPI 场景。

安全是核心设计原则之一。三重紧急停止（全局热键、协议命令、恐慌文件）确保随时可以中止操作；允许/拒绝规则引擎按工具名和参数进行细粒度控制，拒绝规则始终优先于允许规则；高风险操作触发人工确认流程，超时自动拒绝；空闲待机机制在无活动超过阈值后自动暂停会话；干跑模式记录所有操作但不触达真实硬件，非常适合排练与集成调试。

该插件面向在 Windows 10/11 上构建桌面自动化工作流的开发者和团队，以及任何希望在零风险环境中排练代理行为、验证操作逻辑、确认系统集成无误的用户。它通过标准 JSON-RPC over stdio 与 dsh 对接，自包含、即插即用，无需修改代理核心。