dsh-gui-control
在终端中运行以下命令:
dsh plugin install Macocin/dsh-gui-control
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 终端执行 dsh plugin install Macocin/dsh-gui-control 安装本插件(源码:https://github.com/Macocin/dsh-gui-control),安装后重启 DSH 即可使用 desktop_* 工具。
插件介绍
很多自动化场景里,模型只能「说」不能「做」:看不见你的桌面,也点不了按钮、填不了表单。dsh-gui-control 是给 DeepSeek Harness 装的「眼睛 + 手」,把「看屏幕 → 移动点击 → 打字 → 再看」收成可调用的桌面工具,让 Agent 在 Windows 上完成真实 GUI 交互,而不是只靠你口述界面长什么样。
读屏按 L0→L4 逐级尝试:优先用 UI Automation 控件树省 token,必要时 OCR、找色块,最后才截图回传图像;操作侧提供显示器与窗口信息、类人贝塞尔轨迹的鼠标、逐字符 Unicode 键盘输入,以及 desktop_act 一次调用串多步并可选末尾截图。插件还内置 gui-control skill,把坐标换算与省 token 策略写进模型上下文。
安全与可控是设计重心:Ctrl+Shift+C 可在几十毫秒内切断一切桌面控制,且只能由用户按键解除;helper 不走 shell 拼命令、不提权,并对截图区域等设资源上限。需注意 UAC/安全桌面、最小化窗口、锁屏等边界,以及读屏与 paste 会把屏幕与剪贴板相关内容送入模型上下文——别在敏感界面启用。
适合在 Windows 上让 DSH Agent 操作本机应用、走一遍 UI 流程的开发者或高级用户;若你担心模型乱点或需要随时抢回控制权,急停机制正是为此准备。
使用场景
- 让 Agent 按控件树或 OCR 定位按钮并完成点击与填表
- 需要多步「看屏→操作→再看」时用 desktop_act 一次串完
- 调试本机 Win32/WPF/Electron 界面流程而不想手写 RPA 脚本
适合人员
- 在 Windows 上用 DSH 驱动本机 GUI 的开发者
- 需要模型能看屏并操作键鼠的高级用户
- 重视随时 Ctrl+Shift+C 抢回控制权的使用者