dsh-linux-desktop-use
在终端中运行以下命令:
dsh plugin install sorchk/dsh-linux-desktop-use
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中打开插件安装入口,执行 dsh plugin install sorchk/dsh-linux-desktop-use 即可从源码仓库 https://github.com/sorchk/dsh-linux-desktop-use 安装本插件。
插件介绍
在终端里跑命令并不等于「会用电脑」:很多真实任务发生在图形界面里——点按钮、填表单、切换窗口、对照屏幕做判断。DeepSeek Harness 需要一种方式,让模型能像人一样看见桌面并发出可信的鼠标键盘动作,而不是只靠想象去猜像素坐标。
dsh-linux-desktop-use 把一组桌面工具注册进 Agent 上下文:整屏或局部截图直接进入模型视野;点击、拖拽、滚动与组合键输入;列举并激活窗口;枚举/启动/聚焦应用;调整窗口位置与大小;还能用状态断言判断界面是否真的变了。可选的 AT-SPI 无障碍能力让你按控件角色与名称定位元素、直读文本并写入可编辑控件,减少纯靠截图 OCR 的负担。
插件面向在原生 X11 + XTEST 环境下使用 DSH 的开发者与高级用户(XFCE、GNOME、KDE 等均可;Wayland 原生会话不适用)。写操作默认走观察门禁与分级审批,并强烈建议在虚拟机、容器化桌面或独立 X 会话等沙盒里使用,避免把真实账号与生产数据交给可能误判的 Agent。
使用场景
- 在沙盒 X11 桌面里让 Agent 对照截图完成填表、点按与保存等 GUI 流程
- 需要列举/激活窗口或启动应用,并在多步操作后断言界面是否真的变化
- 希望用无障碍树按控件名称定位并直读文本,减少纯截图猜坐标
适合人员
- 在原生 X11 会话上运行 DSH、需要 Agent 操作真实桌面的开发者
- 愿在虚拟机或独立 X 会话里做 GUI 自动化的高级用户
- 需要窗口/应用级控制并配合审批与白名单管控风险的技术用户