AIエージェント向けのデスクトップ操作ツール：システムアクセシビリティツリーを通じて任意のアプリケーションの実際のUI構造を読み取り、スナップショットをJSON形式で返却します。各操作可能な要素には参照が割り当てられ、エージェントは参照に対してクリックや入力を行った後、再度スナップショットを取得して検証します。ピクセル認識には依存しません。
スター数 1833（+22 / 24時間）
理由
- 参照は所属するスナップショットに紐付けられており、UIが変化すると STALE_REF または AMBIGUOUS_TARGET が返され、再スナップショットが要求されます。これにより、削除された行を誤ってクリックすることを防ぎます。デフォルトではヘッドレスモードで、アクセシビリティインターフェース経由で操作するため、マウスを移動させたりフォーカスを奪ったりしません。実際の入力が必要な場合は --headed を追加してください。
- 60 個のコマンド名、56 個が利用可能：観察、参照への操作、キーボード・マウス操作、アプリとウィンドウ管理、通知、クリップボード、待機、セッション追跡。高密度なUIでは、まず snapshot --skeleton で骨格を取得し、その後特定の領域に絞り込みます。
- 各コマンドは統一されたJSONエンベロープを出力し、エラーにはコード、安全に再試行可能かどうか、および推奨事項が含まれます。同時にCライブラリも提供されており、プログラム内でプロセス内呼び出しが可能です。
使い方
- npm install -g agent-desktop；macOSではアクセシビリティ権限が必要です（agent-desktop permissions --guide）。Linuxではグラフィカルセッションと at-spi2-core が必要です。
- エージェントにまず同梱ドキュメントを読ませます：agent-desktop skills get desktop および skills get platform；または npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop
- 最小限のループ：agent-desktop snapshot --app Finder -i → agent-desktop click <スナップショット内の参照> → 再度 snapshot を取得して検証
リスク
- スナップショット、クリップボード、スクリーンショット、およびログにはデスクトップ上のプライベートな内容が含まれる可能性があります。作者は公開ログに含めないよう注意を促しています。オプションの JEV 補助機能は、画面の説明をユーザーが設定したモデルプロバイダーに送信します。
- Linuxでの機能は X11 / Wayland および GNOME に依存し、一部の機能が欠落しています。Homebrew および Scoop の公式パッケージはまだ申請中です。ライセンスは Apache-2.0 です。