dsh_omnivision

大语言模型在操控真实桌面 GUI 时长期面临一个尴尬的瓶颈：要么依赖昂贵的多模态视觉模型，要么干脆「看不见」屏幕。OmniVision 用 OmniParser 把这件事拆成了两步——先把截图或任意图片解析成带像素坐标的结构化元素（文本、图标、可交互控件），再以纯文本形式喂给模型，让任何 DeepSeek Harness 中的对话模型都能理解屏幕内容，而无需额外的视觉能力。

在此基础上，插件注册了一整套 gui_* 工具：gui_capture 截屏识别、gui_act 执行点击/拖拽/输入/热键等真实桌面操作、gui_find 按文本或类型检索元素、gui_verify 反复确认某文本是否出现、gui_task 按脚本串联多步 UI 操作并在步骤间重新解析。浏览器侧的 OmniVision Dock 则提供实时的 SOM 标注视图、悬停高亮与点击放大、识别历史 diff、一键总结以及本地图片解析，让你不需要翻日志就能看到模型「看到了什么、做了什么」。