给 AI 代理用的桌面电脑操作工具：通过系统无障碍树读取任意应用的真实界面结构，快照返回 JSON，每个可操作元素带一个引用，代理对引用点击、输入后再快照核对，不靠像素识别。
星数 1833（+22 / 24h）
理由
- 引用绑定到所属快照，界面变了就返回 STALE_REF 或 AMBIGUOUS_TARGET，要求重新快照，避免点错已删除的行；默认无界面模式，通过无障碍接口操作，不移动鼠标、不抢焦点，需要真实输入时加 --headed
- 60 个命令名、56 个可用：观察、对引用操作、键鼠、应用与窗口管理、通知、剪贴板、等待、会话追踪；密集界面先 snapshot --skeleton 拿骨架再钻进某个区域
- 每个命令输出统一的 JSON 信封，错误带 code、是否可安全重试和建议；同时提供 C 库，程序可以在进程内调用
用法
- npm install -g agent-desktop；macOS 要给辅助功能权限（agent-desktop permissions --guide），Linux 需要图形会话和 at-spi2-core
- 让代理先读自带文档：agent-desktop skills get desktop 和 skills get platform；或 npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop
- 最小循环：agent-desktop snapshot --app Finder -i → agent-desktop click <快照里的引用> → 再 snapshot 核对
风险
- 快照、剪贴板、截图和日志会包含桌面上的私人内容，作者提醒别放进公开日志；可选的 JEV 辅助会把屏幕描述发给你配置的模型服务商
- Linux 能力取决于 X11 / Wayland 和 GNOME，部分功能缺；Homebrew 和 Scoop 官方包还在提交中；许可证 Apache-2.0