dsh-plugin-computer-use
在终端中运行以下命令:
dsh plugin install valkia/dsh-plugin-computer-use
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 的终端中执行 dsh plugin install valkia/dsh-plugin-computer-use 即可安装,插件源码托管于 https://github.com/valkia/dsh-plugin-computer-use。
插件介绍
大语言模型擅长文字推理,却无法直接观察屏幕上的窗口与按钮。dsh-plugin-computer-use 为 DeepSeek Harness 补齐了从推理到操作的最后一环:挂载后,模型通过 Open Computer Use MCP 运行时读取屏幕截图与可访问性树,并执行点击、拖拽、滚动、输入文本、按键等桌面 GUI 操作。
审批策略以每次调用为粒度,默认 per-call 模式确保每一步操作都需用户许可,也可在预设中显式设为 allow 以适配受控部署。插件支持 macOS 14 及以上、Linux(AT-SPI2)和 Windows(UI Automation),跨 arm64 与 x64 架构;一次插件实例仅服务一个活跃会话,保证元素索引与快照命名空间的隔离。
适合正在构建本地桌面自动化、辅助操作或探索性 GUI 交互的开发者:无需自行管理 MCP 进程生命周期、OS 权限或跨会话冲突,在 Agent Preset 中挂上一行即可让模型获得手与眼,把多步桌面任务纳入自动化流程。
使用场景
- 让模型读取屏幕截图与可访问性树,完成点击、输入、拖拽、滚动等多步桌面操作
- 在无浏览器扩展的环境下直接操控本机原生应用窗口
- 为辅助交互或探索性 GUI 任务赋予手眼能力,纳入自动化流程
适合人员
- 在本地搭建桌面自动化流水线的开发者
- 需要将 LLM 接入 GUI 操控的辅助交互项目
- 想试用 Computer Use 又不愿自建 MCP 基础设施的工程师