dsh-pilot
在终端中运行以下命令:
dsh plugin install momasiku/dsh-pilot
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install momasiku/dsh-pilot(也可从 https://github.com/momasiku/dsh-pilot 按 README 安装 @momasiku/dsh-pilot),安装后重启桌面应用并新开对话即可使用工具。
插件介绍
默认情况下,DeepSeek Harness 能推理你的桌面,却碰不到它:你得描述画面、截屏、点击,再把结果告诉模型。每一步都是「你当眼睛和手」,对话成本全堆在人身上。dsh-pilot 把这条环补上——模型看真实像素,再驱动真实的鼠标和键盘。
插件提供三类工具:screen_view 抓取当前桌面并以真实图像块返回(不是 OCR 或文字摘要);desktop_control 移动指针、点击、拖拽、滚动、输入、发键、聚焦与列举窗口,并可在同一次调用里截屏看结果;desktop_sequence 在一轮里批量执行多步操作,最后再统一看一眼。配合每显示器 DPI 感知、截图上的坐标刻度,以及 UI Automation 控件树(在可用时用矩形精确点击、读状态),多步任务可以从「每步一次往返」收成更少的模型与机器对话。
安全与可控同样被写进设计:风险等级需确认才执行、dryRun 可预演、默认遇错即停、可 Esc 中断,序列步数也有上限。适合在 Windows 上跑 Harness、且模型路由支持图像输入、希望把「描述桌面 + 代点代打」交给 agent 完成的真实桌面自动化场景——Canvas、自绘界面等没有可靠控件树时,仍可以截图路径作为兜底。
使用场景
- 多步桌面任务(聚焦窗口、填表、回车确认)希望模型一次批量完成而非每步人工代点
- 需要在真实像素上定位界面,同时用鼠标键盘完成点击、输入与滚动
- 控件树可用时用 UI Automation 精确点选,不可用或需看绘制内容时退回截图路径
适合人员
- 在 Windows 上使用 DeepSeek Harness 且模型支持图像输入的用户
- 希望 agent 直接操作本机桌面、减少「你截屏我描述」往返的人
- 做真实桌面工作流自动化、又需要风险确认与可中断执行的场景