agent-desktop(用无障碍树操作桌面应用)

Vercel Labs 的技能:教代理用 agent-desktop 命令行,通过系统无障碍树(accessibility tree)读取并操作 macOS、Windows、Linux 上的桌面应用——先 snapshot 拿到带引用编号的界面元素 JSON,再对编号点击、输入、勾选,最后重新 snapshot 核对,不靠截图和像素匹配。

Vercel Labs 的技能:教代理用 agent-desktop 命令行,通过系统无障碍树(accessibility tree)读取并操作 macOS、Windows、Linux 上的桌面应用——先 snapshot 拿到带引用编号的界面元素 JSON,再对编号点击、输入、勾选,最后重新 snapshot 核对,不靠截图和像素匹配。

安全审计:未审计

  • 尚未扫描

理由

  • 循环写得具体:小应用直接 snapshot -i,复杂应用先用 --skeleton 拿浅层地图、再用 --root 钻进一个区域;引用形如 @s8f3k2p9:e1,只在本次快照内有效,界面变了报 STALE_REF 就重新快照
  • 重试规则防止重复提交:只有 disposition.retry 为 safe(即 not_delivered)才能重试,其他情况先读当前界面状态再决定,避免点两次、提交两次或 toggle 把自己撤销
  • 默认无头:通过无障碍接口操作,不抢焦点、不移动鼠标、不用剪贴板;只有用户明确允许物理输入才加 --headed,且不许为了绕过无头失败而切换
  • SKILL.md 很短,详细命令说明由程序自带(agent-desktop skills get desktop / platform),和版本对齐;README 写明 Apache-2.0 许可,作者称共 60 个命令名、其中 56 个可用
  • skills.sh 24 小时安装 536(只代表关注度)

用法

  • 安装命令待审计通过后显示;先装命令行 npm install -g agent-desktop,第一次用时让代理运行 agent-desktop status 和 agent-desktop skills get platform
  • 不需要账号或云服务;macOS 要给终端开辅助功能权限(agent-desktop permissions --guide),Linux 需要图形会话和 at-spi2-core,Windows 只能操作与终端同权限级别的应用

风险

  • 本期未审计,固定 C 级、不显示安装命令;SKILL.md 让代理执行 agent-desktop 命令操作本机应用,属于执行命令,与用途相符;skills.sh 上 Snyk 审计为 Warn
  • 代理能读写剪贴板、截图、启动和关闭应用、读通知;README 提醒快照和截图可能含隐私内容,不要放进公开日志;可选的 JEV 辅助会把屏幕描述发给你配置的模型服务
  • Linux 上鼠标输入和窗口控制主要支持 X11,Wayland 下截图走系统门户、剪贴板要 wl-clipboard;本次没有运行,操作可靠性未知

打开 · 仓库

Best Skills 每日数据(LinklyAI / @BlueeonY,CC BY 4.0)

浏览最新 AI 动态