🤖

computer-user-vision

模型推理更新于 2026.09.15

在终端中运行以下命令：

dsh plugin install xie129716/computer-user-vision

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在终端运行 dsh plugin install xie129716/computer-user-vision 即可安装，完整源码地址：https://github.com/xie129716/computer-user-vision

插件介绍

上游 computer-user 在 DSH 0.1.2+ 中因一个失效的命名导入而静默消失——没有报错、没有工具、没有设置卡片，插件如同从未安装。更根本的问题是它诞生于纯文本模型时代：截图只返回一个文件路径，要求模型另行调用 OCR 插件读取屏幕。对于 inputModalities 已包含 image 的视觉模型，这是一条不必要的绕路。

本 fork 将截图通过宿主附件服务直接提交为图像块，让模型原生看见屏幕。在此基础上，它利用 Windows UI Automation 枚举当前窗口的所有控件并生成 ref，computer_click 接受 ref 或名称即可精确落点，完全免去像素换算；窗口矩形取自 DWM 可见边框，PerMonitorV2 DPI 感知消除了缩放显示器上的系统性偏移。输入类工具新增 expect_window 前置校验，焦点不在目标窗口时直接拒绝发送，避免按键打进错误应用。操作期间屏幕四边有渐变光带与悬浮横幅提示，Ctrl+Alt+Esc 或 Stop 按钮可硬停全部计算机工具直到用户重新批准。

适合在 DSH 加 Windows 环境下使用视觉模型操控桌面的开发者与自动化作者：需要 AI 读屏、点按钮、填表单、切换窗口，且要求坐标精确、焦点可控、随时可停的场景。