dsh-computer-use-native
在终端中运行以下命令:
dsh plugin install dao-awa/dsh-computer-use-native
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install dao-awa/dsh-computer-use-native,或从 https://github.com/dao-awa/dsh-computer-use-native 按提交固定安装后重启 DSH 并新建会话。
插件介绍
现代 Windows 应用里,Chromium、WebView2、Electron 等窗口往往几乎不向 UI Automation 暴露可用控件,基于无障碍树的自动化常常只能看到空壳,智能体根本无法“读懂”界面。截图没有这个问题:屏幕上画了什么,像素就在那里;能看图的模型就能据此操作应用。dsh-computer-use-native 走的就是这条视觉路线:用 PrintWindow 与 PW_RENDERFULLCONTENT 尽量抓取真实渲染表面,必要时再回退到区域截屏,并把图像连同坐标映射一并交给模型。
插件把“看图点哪里”里最容易翻车的缩放算术收进工具层。截屏会按配置缩小后再送给模型,输入工具接收的是截图上的坐标,再经 viewport 精确换算成屏幕坐标;窗口移动或缩放后会拒绝过期输入,越界坐标也不会被悄悄夹到别处。重复查看同一画面时还会做轻量比对,画面未变则不重复传大图,并支持 waitForChangeMs 等待界面变化,让动作结果更可观测。
默认的 background 输入通过向目标窗口投递消息完成点击、输入与滚动,不抢前台、不移动真实光标,适合人机共用的机器;遇到只认硬件输入的 XAML/WinUI 等场景,可按次切换到 foreground。还提供窗口列举与几何信息、截图、拖拽、滚轮与 Unicode 打字等一整套 computer-use 工具。
适合在 Windows 10+ x64 上跑 DeepSeek Harness、且模型路由支持图像输入的团队与个人:需要操控新版 Outlook、浏览器或各类现代桌面应用,又不愿把整台电脑交给自动化独占时使用。与 MCP 桌面服务可并存注册,但重叠工具易混淆,实践中建议只挂载一种桌面方案。
使用场景
- 需要操控 Chromium、Electron 或 WebView2 等几乎无无障碍树的应用
- 希望智能体后台操作窗口而不抢占前台光标与键盘
- 视觉模型需要根据截图点击、输入、滚动并完成坐标换算
适合人员
- 在 Windows 上部署 DSH 且模型支持图像输入的开发者
- 需要人机共用同一台电脑运行桌面自动化的团队
- 受 UI Automation 限制、转向截图方案的 Windows 智能体用户