dsh-computer-use
在终端中运行以下命令:
dsh plugin install Silentforfar/dsh-computer-use
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中打开插件市场或执行安装命令,安装来源仓库 https://github.com/Silentforfar/dsh-computer-use(也可在 DSH Web 侧栏插件里启用自定义市场索引后搜索 Computer Use)。
插件介绍
很多日常软件只有图形界面,没有稳定可用的 API。模型若要靠“想象”去点按钮、填表单,很容易点错窗口、坐标漂移,或在目标被遮挡时根本看不清当前状态。Computer Use 把这套能力收进 DSH:让助手像人一样先观察屏幕,再执行一小步,然后再次观察,把桌面自动化变成可重复、可核对的工作流。
插件面向 Windows 10/11,通过 PrintWindow 按窗口抓取像素,即使窗口被部分遮挡也能拿到该窗口自身的截图;同时可读 UI Automation 元素树,对按钮、输入框等走 Invoke/Toggle/Select 等无障碍动作,往往无需移动真实鼠标。需要坐标时,点击、滚动、拖拽会绑定到某次截图快照,由 helper 把相对坐标换算成屏幕坐标;键盘与坐标类输入会在操作前尝试把目标窗口带到前台,激活失败则直接报错,避免把字打到别的窗口。
工具覆盖列出窗口与应用、启动程序、获取窗口状态(截图、可选元素树与文档文本)、点击、输入文字与快捷键、整段替换输入框、滚动拖拽、无障碍二次动作,以及切换前台窗口。核心节奏是观察一次、做一步、再观察一次;元素编号与 screenshot_id 只对最近一次观察有效。
适合需要在 Office、Electron 应用、自绘界面等场景里做演示、回归验证或半自动办公的用户。插件内置安全边界:不自动化终端与登录弹窗、不使用 Win 键组合、敏感操作前需向用户确认。要求 DSH 0.2.1-rc.2 及以上,由插件自拉起长驻 PowerShell helper(cua.ps1)经 NDJSON 与工具通信。
使用场景
- 在记事本或 Office 里按窗口截图后输入文字并读回校验
- 用无障碍元素点击计算器完成四则运算且无需移动鼠标
- 在 Electron 或自绘界面应用中逐步观察并执行点击、滚动与表单填写
适合人员
- 需要在无 API 的 Windows 桌面软件里做半自动操作的 DSH 用户
- 做 UI 回归或演示脚本、希望绑定真实截图与元素树的测试人员
- 在 Harness 会话里让模型安全操控前台窗口的插件开发者