原題:vercel-labs/agent-desktop
Vercel Labs の「コンピュータ操作」ツール:スクリーンショットやピクセルマッチングには依存せず、macOS、Windows、Linux のデスクトップアプリのアクセシビリティツリーを読み取り、各操作可能な要素に参照を割り当てます。エージェントはこの参照に基づいてクリックや入力を行い、再度インターフェースを読み取って結果を確認します。11 月 5 日にリリースされた 1.2.0 では agent-desktop mcp が追加され、stdio を介して各コマンドが MCP ツールとして提供されます。また、パイプラインから入力テキストを読み込む機能や、macOS でコンテナ経由でのみ変更可能なリスト行を選択する機能をサポートし、Homebrew のデフォルトリポジトリから直接インストールすることも可能です。
なぜ重要か 前回までのリリースとの比較における新点:プロンプト内でエージェントにコマンドライン呼び出しを教える必要がなくなり、MCP をサポートするクライアントであればデスクトップアプリを直接操作できます。
スター数 16868(+2173 / 24h)
理由
- 24 時間で新たに 2173 スター増加し、合計スター数は 16868 です(これは注目度を示すに過ぎません)。
リスク
- スナップショット、クリップボード、スクリーンショットにはプライバシー情報が含まれる可能性があるため、README では公開ログに含めないよう注意喚起されています
- システムのアクセシビリティ権限を付与する必要があります