agent-desktop は Vercel Labs のコマンドラインツールと関連スキルであり、OS のアクセシビリティツリーを介してデスクトップアプリの読み取りと操作を行います。ボタンクリック、フォーム入力、UI 状態の読み取り、メニュー操作、チェックボックスの選択、スクロール、ドラッグ&ドロップ、テキスト入力、ショートカットキー、スクリーンショット、ウィンドウ管理、クリップボード、アプリの起動・終了、通知の読み取りなどが可能です。各コマンドは JSON を返します。これはあくまでツールであり、「観察—操作—検証」のループは、それを呼び出すエージェントが実行します。
なぜ重要か スクリーンショットで座標を推測するのではなく、UI 要素に基づいてボタンクリック、フォーム入力、状態読み取りを行うため、デスクトップ自動化の安定性が向上します。
セキュリティ監査:未監査
- スキャン未実施
理由
- skills.sh 24 時間あたりのインストール数 433(注目度を示すのみ)
使い方
- まず agent-desktop コマンドラインをインストールし、agent-desktop status を実行して権限を確認します。その後、snapshot を実行して要素参照を取得してから操作を行います
リスク
- 未監査であり、インストールコマンドは表示されません
- ターミナルにアクセシビリティ権限を付与する必要があり、エージェントはコンピュータ上の任意のアプリを操作できます。機密性の高い操作は人間による確認が必要です