DSH Plugins
返回列表
dsh-desktop-uia

dsh-desktop-uia

admin-security 更新于 2026.10.06

在终端中运行以下命令:

dsh plugin install 1jiegejiayouxuewangan1/dsh-desktop-uia

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install 1jiegejiayouxuewangan1/dsh-desktop-uia,或按 https://github.com/1jiegejiayouxuewangan1/dsh-desktop-uia 说明安装后重启 DSH Desktop。

插件介绍

在 Windows 上让 DeepSeek Harness 真正「看见并操作」桌面应用,常见做法是截图猜坐标,窗口被遮挡或 DPI 不一致时很容易点错、还拖慢鼠标。本插件走 Windows UI Automation(UIA):先拿到窗口控件树,每个元素有稳定 id、类型、名称、矩形和支持的模式;优先用 Invoke/Value/Selection 等模式驱动,被盖住的窗口仍可操作,且多数情况下光标不必移动。

围绕读、查、写、等、启停与剪贴板,提供 desktop_windows、desktop_snapshot、desktop_inspect、desktop_act、desktop_input、desktop_wait、desktop_launch、desktop_clipboard、desktop_screenshot 等工具。写操作与部分敏感能力会经过插件策略与 DSH 审批;每次动作会记录 diff(控件出现、消失或移动),并在重复无效点击、新窗口弹出、慢速 UIA 提供方、树被截断等场景给出明确反馈,减少模型盲猜。

适合在 Windows 10/11(x64)上、已使用支持第三方插件包的 DSH 配置、希望用自然语言自动化记事本、设置、计算器或日常 Win32 应用的用户与 Agent 场景。设置面板的「Desktop control」可查看服务状态、窗口列表、控件树与操作日志,仅用于观察与配置,不会绕过工具与审批直接点击输入。

截图预览

使用场景

  • 打开计算器完成运算并读出结果
  • 在系统设置里查看 Wi-Fi 是否已开启
  • 在记事本输入内容并用快捷键保存

适合人员

  • 在 Windows 10/11 上使用 DSH 且需要操控本机应用的用户
  • 希望用控件树而非截图坐标做桌面自动化的 Agent 场景
  • 需要写操作审批、进程策略与操作审计的管理员