dsh-plugin-android-tools
在终端中运行以下命令:
dsh plugin install asdukw/dsh-plugin-android-tools
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install asdukw/dsh-plugin-android-tools 安装本插件(源码:https://github.com/asdukw/dsh-plugin-android-tools),安装后按 README 重启 dsh。
插件介绍
在让 Agent 真正「动手」操作手机或任意带 UI 的设备时,难点往往不在对话本身,而在于如何把读屏、点击、输入这些能力安全、稳定地接到 Harness 里。dsh-plugin-android-tools 扮演的是轻薄客户端:它在 DSH 侧注册一组与业务无关的原子工具,把每一次调用通过 HTTP 转交给你自建的桥接主机;真正的无障碍树解析与手势注入留在主机端,因此同一套工具面可以对接 Android 参考实现,也可以换成 Windows UI Automation、macOS Accessibility 等任何能讲同一契约的实现。
核心工作流是「先读再动、再读确认」:read_screen 把当前界面节点树打成带 ref 的文本行,tap_node 与 long_press 直接点节点;capture_frame 拿到截图与帧信息,tap_target、long_press_target 用图像像素里的框选区域点击;type_text、press(返回/主页/多任务/回车)、launch_app、swipe 覆盖常见导航与输入。可选的 run_command 在主机配置了 Termux 桥接时才会注册,用于在设备 Linux 环境里执行 shell(与 UI 操作不同,改的是文件系统且不可撤销)。截图经附件服务进入模型上下文,未挂载时调用仍成功但模型只收到文本降级。
适合已经或计划运行桥接主机的团队与个人:本地 loopback + token 校验、不把屏内容打进日志,是 README 明确强调的安全边界。插件不内置聊天、购物等页面级工具,复杂任务由模型组合这些原语完成;没有主机时工具调用会给出清晰错误,仓库附带 mock 主机便于在无真机时冒烟验证。
使用场景
- 让 Agent 按「读屏—点击—再读屏」循环完成跨应用操作任务
- 在截帧上框选区域点击,配合视觉理解操作复杂界面
- 本地 mock 主机上验证工具链,再接真机桥接
- host 配置 Termux 时在设备 Linux 环境执行一次性 shell 命令
适合人员
- 已在 DSH 中编排工作流、需要操控真机界面的开发者
- 计划实现或维护 UI 桥接主机的平台工程师
- 重视 loopback 与 token、不愿把屏内容打进日志的团队