⚙️

dsh-computer-use-plugin

工作流更新于 2026.08.20

在终端中运行以下命令：

dsh plugin install beijingwahw/dsh-computer-use-plugin

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在 DeepSeek Harness 终端中执行 dsh plugin install beijingwahw/dsh-computer-use-plugin，插件源码详见 https://github.com/beijingwahw/dsh-computer-use-plugin ，安装成功后即随 DSH 自动注册激活。

插件介绍

传统 Computer Use Agent 依赖 Accessibility API 或 UI 树定位元素，跨平台能力受限，大模型在整屏估算坐标时幻觉频发——点偏了却以为成功，按钮找不准，下次还要从头摸索。dsh-computer-use-plugin 彻底抛弃 UI 树依赖，采用纯视觉 Grounding 架构：AI 仅凭截图理解界面并通过坐标操作桌面，天然跨 Windows、macOS、Linux，也能驱动 RDP、云端沙箱甚至游戏画面。

插件内置四层自研验证引擎——行为效果验证（dHash 指纹对比）、二阶段精定位（zoom_inspect 裁剪放大）、场景式 UI 记忆（跨会话 landmark 召回）与行动日志重放（成功路径一键变宏）——逐一击破盲点、坐标幻觉、无记忆、不可复现四大失败模式。第四轮进一步引入本地 OCR 文字感知与视觉差分，把验证从像素层推到语义层：系统直接确认预期文字是否上屏、动作到底改变了哪一块区域。第五轮则沉淀出自进化技能库，成功轨迹自动归纳为可复用技能并回写可靠度；凭据类输入触发风险闸门，强制交还用户亲自操作。

适合正在构建自主桌面 Agent 的开发者、需要跨平台 UI 自动化的工程团队，以及想探索纯视觉 CUA 路径的研究者。插件以 MIT 协议开源，按 DSH 插件规范即装即用，也支持源码直载调试与干跑模式安全试验。