dsh-computer-use
在终端中运行以下命令:
dsh plugin install esch30636/dsh-computer-use
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 配置对应 profile 后,于终端执行 dsh plugin install esch30636/dsh-computer-use(源码:https://github.com/esch30636/dsh-computer-use),安装后重启宿主或等待热更新重组即可在新会话中使用 computer_* 工具。
插件介绍
在 Windows 上让 DeepSeek Harness 里的智能体真正「看见并操作」桌面应用,而不只是聊天或写代码——这是 dsh-computer-use 要解决的问题。它参考 OpenAI Codex Windows Computer Use 的交互范式,以纯 DSH 插件实现:面向指定窗口的 UI Automation、可容忍遮挡的截图,以及 SendInput 键鼠注入,由常驻 PowerShell 助手在后台串行执行,无需额外原生模块、npm 依赖或 MCP 服务。
插件向模型暴露五类工具:列举可操控窗口、观察单窗状态(截图与/或可访问性树)、执行单次动作、启动应用,以及在同一窗口上连续执行最多百步输入序列(适合重复性 GUI 任务)。工作流强调「观察 → 一次动作 → 再观察」,坐标与截图附件对齐,降低逻辑与物理像素混淆。操控期间会显示可穿透点击的液态玻璃风格全屏提示层,顶部动态岛显示状态;按 ESC 可立即终止注入并在本轮对话中封锁后续 computer_* 调用,直至用户再次发言。
安全上采用多层策略:硬拒绝(终端、UAC、密码框、DSH 宿主等)、高风险操作的确认策略,以及屏幕内容一律视为不可信数据。可通过 cordis.patch.yml 配置超时、截图尺寸、进程黑白名单、遮罩文案等。
适合在 Windows 10/11 交互式用户会话中,希望用 Harness 自动填表、点界面、跑办公或绘图类重复流程的开发者与高级用户;不适合服务会话、非 Windows 环境,或需要绕过锁屏/UAC 的场景。
使用场景
- 在 Harness 中自动完成表单填写与多步 GUI 点击
- 对指定窗口截图+可访问性树观察后逐步操作办公应用
- 用连续输入序列绘制或重复性界面操作(如画图工具)
适合人员
- 在 Windows 交互会话里用 DSH 智能体操控桌面的开发者
- 需要 Codex 风格「观察—单步动作」桌面自动化的高级用户
- 愿意配置进程策略与确认规则、并接受 ESC 急停的团队