dsh-agent-desktop
在终端中运行以下命令:
dsh plugin install dogxxgod/dsh-agent-desktop
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install dogxxgod/dsh-agent-desktop,或通过插件页安装 bundle;源码与发布见 https://github.com/dogxxgod/dsh-agent-desktop。
插件介绍
agent-desktop 是 Vercel Labs 的计算机使用 CLI,通过系统无障碍树读取并操作桌面应用:每次返回带稳定 @ref 的快照,智能体对 ref 执行动作后再快照验证,不依赖像素匹配或坐标。DeepSeek Harness 虽可直接安装上游 skill 作为文档,但 Bash 工具在 macOS 上受文件沙箱约束,无法执行 /bin/ps,而 list-apps、按应用筛选、启动与关闭应用等能力都依赖 ps,因此在沙箱内调用 CLI 会失败。
本插件在 Host 进程中调用 agent-desktop,与仍受约束的 Bash 并存,并把 skill 中的操作规则注入系统提示,让模型理解快照—操作—验证循环、ref 生命周期、重试策略以及默认无头/可选有头策略。各 desktop_* 工具对应 CLI 能力:状态与权限、窗口与应用列表、无障碍快照与查找、点击输入滚动、截图,以及 desktop_run 作为其余命令的逃生口;返回值保持 CLI 的 JSON 信封,由模型根据 error.disposition 决定是否安全重试。
适合已在 Harness 中启用工具与子进程能力、本机已安装 agent-desktop,并愿意授予无障碍(及可选屏幕录制)权限、需要让智能体以语义方式观测与操控 GUI 的用户。插件与 skill 可同时存在、互为补充;若你主要做只读探查,应优先 status、get、find,对不可逆操作保持用户确认意识。
使用场景
- 需要在 Harness 中通过快照与 @ref 操控本机 GUI,而非仅在 Bash 里读文档 skill
- macOS 上 list-apps 等依赖 ps 的能力在 Bash 沙箱内失败,需从 Host 调用 agent-desktop
- 对复杂界面先 skeleton 快照再局部 drill,或对菜单/弹层使用 surface 参数
适合人员
- 已使用 DeepSeek Harness 且配置满足 tools 与子进程要求的用户
- 本机已安装 agent-desktop 并愿意授予无障碍等系统权限的操作者
- 希望智能体以语义方式观测桌面、再谨慎执行点击与输入的开发者