dsh-computer-use
在终端中运行以下命令:
dsh plugin install lqq151510/dsh-computer-use
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中打开插件安装入口,执行命令:dsh plugin install lqq151510/dsh-computer-use;源码见 https://github.com/lqq151510/dsh-computer-use。
插件介绍
在 DeepSeek Harness 里,如果 Agent 要在真实的 macOS 桌面上「看见」应用、点按钮、填文本,就需要一条可靠的电脑操作通道。本插件把这件事收束成一组原生能力:不用猜测用户界面上有什么,也不用为了读树和读字各跑一趟不同流程。
核心是一份统一的读屏与两套互补的动手方式。computer_read 一次同时返回辅助功能树(可交互元素的 role、标题、坐标、稳定 index 与可用动作)和 Vision OCR 文字行及坐标,坐标都是屏幕 point。computer_act 则按 index 或可见标题做 press、focus、set_value、click,走辅助功能 API,不移动真实鼠标指针,还能操作后台窗口;界面元素漂移时有 role+标题+位置指纹帮助重新定位。需要像素级画面或没有可访问节点时,computer_screenshot、computer_mouse 与 computer_keyboard 用 CoreGraphics 发真实事件,computer_sequence 还能把多步输入串成一次低延迟调用,并可选 game 模式与拟人化轨迹。
实现上,鼠标键盘与辅助功能工作由一个约百 KB 的 Swift 助手在首次使用时由本机 swiftc 编译并缓存到用户目录,不额外拉取驱动或预置二进制;截屏依赖系统 screencapture。使用前须在系统设置里授予「辅助功能」与「屏幕录制」给 DeepSeek Harness。
适合需要在本地 macOS 上让 Agent 自动化桌面应用、调试读屏与操作链路、并在无障碍树与 OCR/像素路径之间灵活切换的开发者与高级用户;若主要面向无辅助功能的自绘界面或游戏,仍要以 OCR 加坐标点击为主,并接受整屏 OCR 可能较慢的现实。
截图预览
使用场景
- Agent 需要一次看清界面:无障碍树与 OCR 坐标对齐,再决定点哪。
- 要在不抢前台的情况下操作后台窗口里的表单或按钮。
- 自绘界面或画布几乎没有 AX 节点时,用 OCR 坐标配合鼠标键盘点选与输入。
适合人员
- 在 DeepSeek Harness 里驱动本机 macOS 桌面的用户。
- 要把「读屏 + 语义操作 + 像素路径」串成稳定工作流的自动化开发者。
- 熟悉系统隐私授权并愿意处理无障碍与截屏权限的高级用户。
