dsh-computer-use
在终端中运行以下命令:
dsh plugin install leolee9086/dsh-computer-use
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install leolee9086/dsh-computer-use 即可安装该插件,源码见 https://github.com/leolee9086/dsh-computer-use
插件介绍
DeepSeek Harness 的 agent 往往只停留在文本与终端层面,一旦需要「看一眼屏幕、点一下按钮、翻到一个窗口」,要么靠脆弱的剪贴板截图脚本,要么得动宿主源码。dsh-computer-use 以独立 Cordis bundle 的形式把桌面操作能力注入 agent 工具箱:截图观测返回模型可见的图片附件并绑定 SHA-256 与短期 screenshot ID;坐标操作把图片内比例换算回物理桌面像素;原生无障碍树(Windows UIA / macOS AX / Linux AT-SPI)让模型能按名称、角色、Automation ID 定位元素并执行 invoke、focus、toggle、expand 等语义动作。整个流程不修改 Harness 源码树、不要求改动任何随附的 agent 预设,安装即生效。
插件刻意把「观测」与「动作」拆成两步并以 evidence 串联:每一次成功的坐标或语义动作都会消耗该 agent 全部历史截图、语义快照与窗口列表,迫使下一步基于新捕获的桌面状态,避免模型凭过期坐标误操作。窗口聚焦走单步原生调用(先提窗再按实时边界截图),规避了 Windows 控制台窗口抢前台的经典问题;Linux 与 macOS 后端各自接系统接口,但作者明确标注二者为参考实现,生产场景请以 Windows 为准。
适合在 Harness 中运行多步桌面工作流(表单填写、本地应用操作、跨窗口信息核对)的开发者与高级用户。如果你的 agent 需要「看见」再「动手」,并且希望每一步都留有模型可读的证据链,这个 bundle 提供了当前 Harness 生态中最完整的桌面控制面。
使用场景
- Agent 查看桌面截图后执行点击、输入等坐标操作
- 跨窗口信息核对与本地桌面应用表单填写
- 为 Harness agent 提供模型可见且可审计的桌面控制面
适合人员
- 在 DeepSeek Harness 中运行多步桌面工作流的开发者
- 需要 agent 具备看见再动手能力的高级用户
- 要求桌面操作留有可审计证据链的自动化团队