dsh-vision-click
在终端中运行以下命令:
dsh plugin install zdd3143/dsh-vision-click
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install zdd3143/dsh-vision-click 即可从 GitHub 安装本插件(https://github.com/zdd3143/dsh-vision-click)。
插件介绍
纯像素 GUI Agent 往往卡在「语义到坐标」这一步:模型对着缩略图估位置,偏差几十像素就会点空按钮。这个插件把屏幕上的可读文字变成确定性的操作目标——先截图,用 Windows 自带的离线 OCR 给每一行文字附上归一化坐标,再按文字或坐标去单击、拖动、滚轮和键入,并在动作后做局部与全屏像素差分,以及前后 OCR 文字增删对比,明确告诉你「有反应」还是「没有可测量的变化」。
核心能力覆盖「看、动、验、停」:gui_look 建立文字索引;gui_click、gui_drag、gui_scroll、gui_type、gui_key 覆盖常见桌面交互;gui_wait 等文字出现或消失;gui_do 可把最多十步串成一条流水线,任一步失败即停。安全上默认不截屏、不输入,需用户显式授权;F6+F7 由独立看门狗急停,看门狗未运行时所有工具 fail-closed。OCR 读不到的图标或无文字控件,仍可用坐标兜底,或按需启用本地视觉模型作可选兜底。
适合在 Windows 上让 DeepSeek Harness Agent 操作真实桌面应用的人:表单填写、设置向导、旧版 Win32 软件、无法走 API 的界面自动化,以及希望定位与复核离线、不依赖视觉大模型 API 的工作流场景。若你主要操作的是图标按钮、画布或无标签控件,需要接受 OCR 局限或配合可选视觉后端。
使用场景
- 让 Agent 在 Win32 或桌面应用里按界面文字点击、填表并确认操作是否生效
- 批量串起点击、等待、滚轮与键入步骤,完成无 API 的设置向导或旧软件流程
- OCR 定位失败时用归一化坐标或可选本地视觉模型兜底完成图标类控件操作
适合人员
- 在 Windows 上运行 DSH Agent、需要操控真实桌面界面而非仅写代码的人
- 做工作流插件、希望离线 OCR 定位且每次动作有明确复核结果的开发者
- 自动化表单、企业内网客户端等无法走 HTTP API 的重复操作场景