DSH Plugins
返回列表
⚙️

dsh-native-uia

工作流 更新于 2026.11.02

在终端中运行以下命令:

dsh plugin install xiaobaga281/dsh-native-uia

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install xiaobaga281/dsh-native-uia(源码仓库 https://github.com/xiaobaga281/dsh-native-uia),安装后重启桌面端即可在会话中使用「电脑操控」。

插件介绍

常见桌面 computer-use 走像素回环:每一步都要吃大量 token,还容易被主题、字号和窗口挪动拖垮。DeepSeek Harness 官方桌面端若只靠多模态看图点按,成本和稳定性都会成为日常拦路虎。dsh-native-uia 把主通道换成 Windows UI Automation 控件树——一次 snapshot 大致是千 token 量级,与屏幕分辨率无关,纯文本模型也能读结构、找控件、发动作;截图落盘只是 Canvas、自绘界面等「看不见树」时的兜底,是否进模型由宿主 read_image 路由,本插件不替你把图片硬塞进纯文本历史。

核心能力围绕「看清 → 选中 → 执行 → 收尾」:列出顶层窗口、读控件树并签发短 ref、按文本 find_text(按可点击性排序并给 ref)、computer_act 与批量 computer_run(逐步本地校验)、等待条件、按 pid/标题等重新定位窗口、window/screen 截图并带回坐标映射,以及 launch/close(仅本插件打开的窗口)与配方回放。控制页在本地起服务,会话里出现「电脑操控」标签;御屏指示层提示正在操控,Esc 或终止可停手,租约与空闲计时帮模型「用完会收」,策略层对关机、注销、退出程序等硬拒——定位是开发自用的防手滑,不是对抗级沙箱。

适合在 Windows 上跑 DeepSeek Harness 桌面端、希望 agent 工作流能稳定操控本机应用的人:Win32/WPF/多数标准控件场景收益最大;重度 Canvas、游戏或部分 Electron 界面需要更多依赖截图支路。若你关心 token 成本、点选语义(别误点容器或聊天记录里的 Text)以及整屏/单窗截图是否完整,README 里 0.2.0 围绕「点不准、截不全」的实测说明与这套插件的设计是对齐的。

使用场景

  • 让纯文本模型通过控件树读写、点击本机 Windows 应用,而不必每步都靠截图
  • 在 DeepSeek Harness 会话里用「电脑操控」批量执行打开设置、填表、点菜单等重复操作
  • 控件树不可见时(Canvas、部分 Electron)用截图兜底,并结合 find_text 与 ref 精确定位控件

适合人员

  • 在 Windows 上使用 DeepSeek Harness 官方桌面端的用户
  • 希望降低 desktop computer-use token 成本、提高点选稳定性的 agent 工作流开发者
  • 需要 agent 在本机操控 Win32/WPF 等标准控件界面、并接受策略层防手滑边界的人