DSH Plugins
返回列表
🖥️

dsh-vdesktop

客户端 更新于 2026.10.17

在终端中运行以下命令:

dsh plugin install jafewff/dsh-vdesktop

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install jafewff/dsh-vdesktop 安装插件;也可参考开源仓库 https://github.com/jafewff/dsh-vdesktop 的 README 进行 link 依赖与 profile 配置后重启 DSH。

插件介绍

让大模型真正「动手」操作 Windows 图形界面,往往意味着把真实桌面暴露给自动化,既难隔离又难旁观。dsh-vdesktop 是 DSH(DeepSeek Harness)的 cordis 插件:在本机创建一个用户看不见的 Win32 虚拟桌面(CreateDesktopW),把 GUI 应用跑进这层隔离环境,同时把画面与输入能力同时交给 Agent 和人。

对模型侧,插件注册 12 个 vdesk_* 工具,覆盖虚拟桌面生命周期(创建、列表、关闭、孤儿清理)、整桌与区域放大截图、鼠标与键盘(含中文与 emoji)、读写窗口文本以及把文本存成文件。对人侧,DSH Web GUI 内置 VDesktopPanel:低频轮询实时画面(默认 1280×720),叠加光标,面板上的点击走与 Agent 相同的执行面——标准窗口标题栏的关闭/最小化/最大化、自绘标题栏应用的客户区逻辑、任务栏按钮的激活与启动,都尽量按真实桌面语义生效。

底层由 TypeScript 插件、无 pip 依赖的 Python ctypes sidecar(stdio JSON-RPC)与内置 frameServer(127.0.0.1:8790 起端口探测)协作:GDI 抓帧与编码、输入链路在 SendInput 受限时逐级降级到 PostMessage/SendMessage,并由 sidecar 托管进程的心跳监测与空闲回收。

适合在 Windows 10/11 上跑 DSH、需要让 Agent 在隔离桌面里操作浏览器、办公或调试类 GUI、又希望人在 Web 里同步观屏与介入的团队与个人。注意环境限定 Windows,且部分能力(如开始菜单)为最佳努力实现。

使用场景

  • 让 Agent 在隔离 Win32 虚拟桌面里打开并操作浏览器或办公 GUI
  • 需要在 Web 面板里实时观看虚拟桌面并用手动点击介入
  • 为模型提供截图、键鼠与读写字幕等 vdesk_* 工具链

适合人员

  • 在 Windows 上使用 DSH 的开发者与 Agent 搭建者
  • 需要 GUI 隔离又不想占用本人可见桌面的团队
  • 要在人机共视场景下验收或演示桌面自动化的用户