DSH Plugins
返回列表
🖥️

dsh-computer-use

客户端 更新于 2026.11.01

在终端中运行以下命令:

dsh plugin install RestRegular/dsh-computer-use

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 终端执行 dsh plugin install RestRegular/dsh-computer-use,或在 DSH Desktop 的「插件 → 插件管理器」中安装并启用;插件源码见 https://github.com/RestRegular/dsh-computer-use。

插件介绍

当智能体需要在你本机 Windows 上「看见」并真正动手操作时,浏览器里的自动化往往不够,也不一定能覆盖整台虚拟桌面。本插件把截图、鼠标、键盘、窗口管理与剪贴板能力接到 DSH 工具链里,由内置的 Rust 原生助手完成底层注入,不依赖浏览器或外部自动化运行时。

核心工作流很直观:先列窗口、再截图观察、用坐标空间执行点击与输入,然后重新截图验证——因为一次点击并不能证明界面已经变成预期状态。截图可整屏、单显示器、指定窗口或区域,并带回坐标元数据;动作侧支持移动、各类点击、拖拽、滚轮、组合键、文本输入、等待以及剪贴板读写,必要时还可释放控制权。

安全设计是产品重心而非事后补丁。在 harness 仍为「询问」策略时,每轮首次键鼠操作会走审批;全权限模式下则按用户选择直接执行,但半透明接管遮罩、紧急热键与 Cancel 仍始终可用。接管后物理输入被导向遮罩上的聊天面板(可向会话发消息或结束接管),智能体注入的输入在遮罩下继续生效,且遮罩不会污染模型截图。适合需要在真实 Windows 10/11 x64 环境做桌面自动化、又希望保留人工把关与随时夺控能力的 DSH 用户。

若你接受「输入真实且不可撤销」这一前提,并愿意配合截图—行动—再观察的循环,它适合驱动办公应用、表单填写、跨窗口切换等以视觉坐标为主的任务;目前尚无 UIA 无障碍树,部分 GPU/DRM 窗口可能出现黑帧,这些限制在 README 中已有说明。

使用场景

  • 需要智能体根据截图在 Windows 上点击、输入并完成跨窗口任务
  • 希望在全桌面接管下仍能通过遮罩面板向会话发消息或随时取消
  • 办公场景里用「列窗口—截图—操作—再截图验证」循环驱动真实应用

适合人员

  • 在 Windows 10/11 x64 上使用 DSH、需要真实桌面而非仅网页自动化的用户
  • 重视人工审批、屏幕接管与紧急热键夺控的安全敏感场景
  • 能接受坐标视觉驱动、暂无 UIA 树等已知限制的实践者