dsh-windows-computer-use

在 DSH 里让助手真正「动手」操作 Windows 桌面，往往卡在窗口焦点、控件识别和一步一截图的往返成本上。DSH Windows Computer Use 面向 DSH Desktop 用户，用 C# 原生引擎配合 TypeScript 接入层，把目标窗口绑定、停止机制与结果验证放在前面，让自动化更可控、更可审计。

插件能读取 Windows 控件、查找窗口与按钮；在 UIA 不完整时还可借助 Windows OCR 或截图辅助定位。支持点击、双击、拖动、滚动、中文输入、快捷键、控件赋值与窗口管理。操作前要求先观察目标窗口；窗口移动、焦点变化、目标不明确或观察过期时会拒绝盲目输入。独立线程监听 Esc，停止后当前轮不能继续输入，新的用户请求可继续。引擎通过内存返回截图，输入已发送与效果已确认会分开返回。

若你使用支持图片输入的模型，还可以「一张截图规划多个动作」：最多 8 步连续执行，结束后返回最终截图与逐步结果，减少模型往返。批量动作用截图中的像素坐标并换算窗口位置与缩放；跳转、提交等不确定步骤可设检查点，检测到窗口或控件变化、失败或 Esc 时会停止剩余动作。

适合在 Windows x64 上愿意测试预览版的 DSH Desktop 用户，用于表单填写、记事本验证、重复 UI 操作等场景。请勿与其他电脑控制插件同时操作同一桌面；并留意 UAC、前台焦点、复杂网页与 OCR 语言包等已知边界。