dsh-desktop-automation

浏览器自动化工具（如 Playwright）能轻松操控网页，却让剪辑软件、设计工具、办公套件和系统设置这些真实桌面应用始终在 AI agent 的触达范围之外。dsh-desktop-automation 补上了这块空白：它让 dsh 的 agent 像人一样看屏幕、移鼠标、敲键盘，直接操作 macOS 上的任意原生应用。

插件注册了 14 个 agent 可调用的工具，覆盖鼠标移动、点击、拖拽、滚动、按键、文本输入、应用与窗口管理、全屏及区域截图等完整桌面交互。更关键的是视觉闭环——截图交给视觉模型识图理解，再通过 grounding 输出可交互元素的精确坐标，agent 据此点击并截图验证，形成从截图、识图、定位、点击到验证的完整回路。无需依赖辅助功能树，即使 accessibility 树不可用的应用也能被准确操控。

适合需要批量重命名、跨应用搬运数据、重复性表单填写等办公自动化场景的团队；对桌面软件做 GUI 测试与验收、用操作后再截图的闭环替代人工点检的 QA 人员；以及希望远程指挥一台 Mac 完成桌面操作的开发者。只要 dsh 已配置视觉凭据，安装即可使用，无需额外申请 API Key。