ui-locate-mcp
在终端中运行以下命令:
dsh plugin install citydirector/ui-locate-mcp
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 的「插件 → 添加插件」中搜索 ui-locate-mcp 或安装源码仓库 https://github.com/citydirector/ui-locate-mcp,启用后按设置页完成 Python 环境与模型准备。
插件介绍
桌面自动化和 AI 助手常常需要「看见屏幕再动手」,但把整屏截图丢给云端既慢又贵,还容易猜错像素。ui-locate-mcp 在本地做 UI 检测与 OCR,把匹配文字或编号的元素转成屏幕坐标,再通过 MCP 与 Host 工具串联定位、点击、输入、滚动,并在可能时做结果校验。
核心能力覆盖常见桌面场景:按文字查找与批量候选、元素枚举、带编号标记的截图(适合无稳定文案的游戏控件或图标)、单步与多步动作编排、窗口列表与单窗口捕获、屏幕差异与短时录制观察动效后再行动。推理由常驻本地服务承担,MCP 进程只转发请求;首次准备会拉取 Python 依赖与约 80MB 检测模型。
适合需要在 Windows 桌面上让模型或脚本可靠操作 UI 的开发者与高级用户,尤其是 DSH 里已启用 MCP 的工作流。当前发行包对 MCP 可执行路径偏 Windows 配置,需 Python 3.12+ 与单独的环境准备;无稳定文本的目标可配合 marks 与网格选点,游戏全屏还可按需调整指针与按键模式。
使用场景
- 按界面文字查找按钮并返回可点击的屏幕坐标
- 对游戏或无文案控件用编号标记截图再按编号执行点击
- 多步操作编排并在动作后校验屏幕是否稳定或发生变化
适合人员
- 在 DSH 中通过 MCP 让模型操作 Windows 桌面的开发者
- 需要本地推理、少依赖云端视觉 token 的自动化用户
- 处理全屏游戏或复杂窗口捕获的高级桌面用户