DSH Plugins
返回列表
🤖

dsh-vision-android

模型推理 更新于 2026.08.18

在终端中运行以下命令：

dsh plugin install superclaude1/dsh-vision-android

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在 DeepSeek Harness 终端执行 dsh plugin install superclaude1/dsh-vision-android 即可安装该插件，源码仓库为 https://github.com/superclaude1/dsh-vision-android。

插件介绍

当主模型没有多模态输入，Agent 看着截图或手机界面既无法理解也无法操作。

这个插件把视觉问答和 Android UI 自动化合到一起：先用 OpenAI 兼容视觉模型对本地图片提问，或调用 mobile_look 获取屏幕描述和可交互元素坐标；再通过 adb 在模拟器或真机上执行真实点击、滑动、文本输入、按键、安装和启动，并用 mobile_dump 抓取 UI 层级坐标做校验。

它适合需要让 Agent 看懂界面、操作 Android 应用、自动化测试手机流程的开发者，也适合想为本地 Harness 增加视觉输入与设备操作能力的多模态工作流。

使用场景

  • 让 Agent 看懂手机截图并执行真实点击操作
  • 自动化测试 Android 应用的多步交互流程
  • 为主模型补充图像理解能力以处理视觉问题

适合人员

  • 需要驱动手机应用做自动化测试的开发者
  • 在 Harness 中集成视觉能力的 Agent 工程师
  • 用 adb 构建移动端操作自动化流程的团队