dsh-computer
在终端中运行以下命令:
dsh plugin install ZSeven-W/dsh-computer
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install ZSeven-W/dsh-computer 即可从 https://github.com/ZSeven-W/dsh-computer 安装本插件。
插件介绍
在 macOS 上让 Agent「看见界面再动手」听起来简单,现实却充满陷阱:窗口会移动、应用会重启、进程号会被复用,动态界面也会悄悄换掉子控件。更麻烦的是,另一路 Agent 可能正在同一块屏幕上操作。若把某次观测当成长期可用的坐标清单,就很容易在错误的时机点到错误的对象。DSH Computer 把每一次观测都当作短时效能力,而不是可以反复消费的静态地图。
插件以无头工具为主,通过有界无障碍树观测、原生窗口视觉与 Set-of-Mark 标注、会过期的不透明引用,以及宿主侧一次性审批与操作回执,把「读屏」和「改屏」绑在同一套观测互斥规则里:视觉读取不消耗引用,但一旦接受或可能已执行变更,整次观测上的引用全部作废,必须重新观测。还提供应用列举与按 Bundle ID 启动、基于引用的安全点击/聚焦/输入/按键/滚动,以及在宿主审批下基于附件图像像素执行的视觉点击/拖拽/滚动,并可用证据工具检查会话、权限与近期回执。
安全语义上,观测按 Agent 作用域隔离;锁定或非交互式桌面会直接失败关闭。高风险点击、提交类按键与非导航快捷键需要宿主知情批准,安全字段输入永久拒绝;动作结果以「能否证明可见效果」为准,无法证明时返回 unknown,避免盲目重试。模型参数中不会出现 Agent ID、无障碍路径或调用方伪造的审批,原始定位器留在驱动内部。
适合需要在 DSH 宿主环境中做可控 macOS 桌面自动化的开发者与 Agent 集成方,尤其是希望用 Cordis 驱动契约对接自动化测试(如 dsh-qa)、又必须把「过期屏幕」和「误操作」风险压到最低的场景。当前垂直切片刻意不设设置页,面向已具备 macOS 无障碍与录屏授权能力的本机 Helper 部署。
截图预览
使用场景
- Agent 需要在 macOS 上安全点击、输入并验证界面变化
- macOS 桌面 UI 测试需结合无障碍树与带标注的窗口截图
- 多 Agent 共用主机时避免基于过期观测重复误操作
适合人员
- 在 DSH 中集成 macOS Computer Use 的插件开发者
- 使用 Cordis 驱动做 QA 或端到端自动化的团队
- 已能为本机 Helper 配置无障碍与录屏权限的运维者