dsh-desktop-uia
在终端中运行以下命令:
dsh plugin install 1jiegejiayouxuewangan1/dsh-desktop-uia
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install 1jiegejiayouxuewangan1/dsh-desktop-uia,或按 https://github.com/1jiegejiayouxuewangan1/dsh-desktop-uia 说明安装后重启 DSH Desktop。
插件介绍
在 Windows 上让 DeepSeek Harness 真正「看见并操作」桌面应用,常见做法是截图猜坐标,窗口被遮挡或 DPI 不一致时很容易点错、还拖慢鼠标。本插件走 Windows UI Automation(UIA):先拿到窗口控件树,每个元素有稳定 id、类型、名称、矩形和支持的模式;优先用 Invoke/Value/Selection 等模式驱动,被盖住的窗口仍可操作,且多数情况下光标不必移动。
围绕读、查、写、等、启停与剪贴板,提供 desktop_windows、desktop_snapshot、desktop_inspect、desktop_act、desktop_input、desktop_wait、desktop_launch、desktop_clipboard、desktop_screenshot 等工具。写操作与部分敏感能力会经过插件策略与 DSH 审批;每次动作会记录 diff(控件出现、消失或移动),并在重复无效点击、新窗口弹出、慢速 UIA 提供方、树被截断等场景给出明确反馈,减少模型盲猜。
适合在 Windows 10/11(x64)上、已使用支持第三方插件包的 DSH 配置、希望用自然语言自动化记事本、设置、计算器或日常 Win32 应用的用户与 Agent 场景。设置面板的「Desktop control」可查看服务状态、窗口列表、控件树与操作日志,仅用于观察与配置,不会绕过工具与审批直接点击输入。
截图预览
使用场景
- 打开计算器完成运算并读出结果
- 在系统设置里查看 Wi-Fi 是否已开启
- 在记事本输入内容并用快捷键保存
适合人员
- 在 Windows 10/11 上使用 DSH 且需要操控本机应用的用户
- 希望用控件树而非截图坐标做桌面自动化的 Agent 场景
- 需要写操作审批、进程策略与操作审计的管理员