dsh-keymouse-use
在终端中运行以下命令:
dsh plugin install msn233/dsh-keymouse-use
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install msn233/dsh-keymouse-use 完成安装,开源仓库地址为 https://github.com/msn233/dsh-keymouse-use
插件介绍
在 Windows 桌面上驱动 AI 模型真正"动手"操作,一直卡在两堵墙上:虚拟注入的输入容易被应用识别为非真实事件,DPI 缩放又让模型看到的像素坐标和实际写入硬件的坐标对不上号。dsh-keymouse-use 就是为 DeepSeek Harness 补上这一环的——一个常驻 helper 进程通过管道逐行读取 JSON 指令,直接调用 Win32 SendInput,在操作系统层面发出与真实硬件事件无可区分的键盘鼠标信号。
整条链路都是 DPI 感知的:主屏截图、绝对鼠标移动、窗口查询全部统一到物理像素。模型给一个坐标,它就落在那颗像素上,不需要任何中间换算。插件共暴露 17 个工具:完整键盘三件套(按下、抬起、即按即放)、鼠标按住拖动、滚轮滚动、主屏 PNG 截图并返回绝对路径、按进程名查找窗口、从托盘唤起、最小化/还原/最大化、临时置顶与一键取消置顶,以及一个内置的 runtime skill 说明书——模型通过 skill 工具自行读取操作规则,省去反复写提示词的功夫。
最适合在 DeepSeek Harness 中跑 Windows 桌面自动化循环的开发者:多步登录、桌面应用工作流、截图→观察→执行的迭代闭环。插件只做三件事——模拟键鼠、截主屏、窗口管理——不自带任何图像识别能力。截图能否被"看懂"取决于宿主环境是否配备了视觉或 OCR 工具,插件不绑定任何特定视觉方案。仅支持 Windows 单屏桌面会话。
使用场景
- 自动化登录桌面应用并完成多步表单填写
- 截屏捕获界面后交由模型读取并决定下一步操作
- 按进程名唤起托盘或最小化窗口并置顶执行任务
适合人员
- 在 DeepSeek Harness 中构建 Windows 桌面自动化流程的开发者
- 需要 AI 模型真实操控键鼠完成桌面任务的集成者
- 用 AI 驱动桌面应用工作流(登录、点击、输入、拖拽)的工程师