DSH Plugins
返回列表
⚙️

dsh-copilot-vision

工作流 更新于 2026.11.01

在终端中运行以下命令:

dsh plugin install ccr-wer/dsh-copilot-vision

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install ccr-wer/dsh-copilot-vision 即可安装,源码仓库为 https://github.com/ccr-wer/dsh-copilot-vision。

插件介绍

在 DSH 里让模型「看屏并动手」,常见痛点是整屏截图又贵又慢、连点不等等界面反馈、以及在小图上估坐标动辄偏上百像素。Vision-Pilot 面向本地 Windows 主屏,经 robot-ts 直连截屏与键鼠注入,不建远程通道;用差分与局部 region 告诉模型「哪里变了」,用带呼吸阀的等待在变化稳定后再交还控制,再用网格放大图把点击换算交给代码完成。

人机共驾是另一条主线:持续授权只由 Shift+Space 或卡片确认进入/撤销,热键失效即收权;点击、输入、按键在未授权时直接拦截,长文本与等待过程可被急停打断,并有 JSON Lines 审计。任务收尾时 vp_summarize 归档关键截图、写入总结并清理临时碎片,配合内嵌的观察—行动—等待—验证工作流,适合需要在真实 Windows 桌面里做可审计、可急停的自动化或辅助操作的 DSH 用户。

使用场景

  • 点击后必须用 vp_wait_change 等界面稳定,再截图或差分验证结果
  • 只盯表单或按钮区域做差分/等待,忽略聊天窗口流式重绘造成的全屏变化
  • 任务结束前调用 vp_summarize 归档关键页并清理临时截图与网格图

适合人员

  • 在 Windows 上用 DSH 做本地桌面自动化、且需要物理热键急停的用户
  • 希望模型用差分与网格相对点击减少整屏传输与坐标误差的 agent 工作流
  • 能接受持续授权纪律、并在 headless 或 web 宿主下配合 Shift+Space 或卡片确认的人