原題：Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
Microsoft Researchなどが提案したHybrid Computer Use（HCU）。著者らは、スクリーンショットとマウス・キーボードのみのコンピュータ操作インターフェースは、「人間がコンピュータを使う習慣」をモデルに強要するものであり、画面を繰り返し確認する必要があり、システム本来の意味論的な能力やプログラミング能力を無駄にしていると考えている。HCUは3つのチャネルを1つのインターフェースに統合する：プログラミングチャネル（エージェント内蔵のシェルおよびファイルツール）、意味論的チャネルAX（簡略化されたアクセシビリティツリーを読み取り、a1やr12といった短い参照を使用し、1回の呼び出しで最大64個のアクションを一括実行して待機し、AX diffを返す）、視覚チャネルGUI（フルスクリーンスクリーンショット、部分拡大、マウス・キーボード入力の一括送信）。各入力の送信前に、対象コントロールとウィンドウレイアウトが計画時と一致しているかを確認し、インターフェースが変更されている場合は実行を拒否することで、チャネル切り替え後の誤クリックを防ぐ。また、エージェントにチャネルの選択と組み合わせ方を教えるためのスキル説明も付随している。コードはオープンソースのMCPサービス「computer-use」である。
なぜ重要か スクリーンショットによるクリック操作のみでは遅くコストがかかる；インターフェース構造を読み取り、一括操作ができるインターフェースにより、同じモデルでより速く、より効率的に実行できる
いいね 10 · コードスター数 22
理由
- 著者らは、モデル、フレームワーク、タスク、ステップ予算をすべて固定し、インターフェースのみを変更した条件下での結果を報告している：OSWorld 2.0（108タスク、GPT-6 Astra）において、部分得点は72.37%で、CUA Driverの68.82%を上回った；OSWorld 1.0（GPT-5.4）では70.13%対62.47%で、コストは59.1%低かった；Windows Agent Arenaでは80.86%対71.89%で、コストは50.6%低かった。OSWorld 2.0において、Claude Opus 5を組み合わせた場合の二値得点は35.19%であり、全評価システムの中で最高であった。
- 著者らは、OSWorld 1.0において、4つの最先端モデル（GPT-5.4、Claude Opus 5.5、Gemini 3.8 Flash、Grok 4.7）の平均スコアが6.48ポイント向上し、ステップ数は17%減少、コストは30%低くなったと報告している；異なるモデルは3つのチャネル間での作業分担方法が異なるが、すべて恩恵を受けた。
- 実用者にとって直接的な利点：MCPサービスはCodex、Claude Code、Gemini CLI、Grok Buildと連携可能であり、コマンドラインおよびPython SDK（同一のデーモンプロセスを共有）も提供されている；MITライセンス、コードスター数22（注目度を示すのみ）。
使い方
- ビルド：make build-local（Linux、Go 1.22以上）後にmake smokeでMCPがAXおよびGUIを公開しているか確認；macOSではmake build-macos（Swift 6.2以上）、Windowsではmake build-windows（.NET 8、PowerShell 7）を使用；ログイン中のデスクトップユーザーとしてartifacts/computer-use doctorを実行し、権限と依存関係を確認する。
- エージェントとの接続：Codexでは~/.codex/config.tomlに[mcp_servers.computer_use]を追加し、commandにartifacts/computer-useの絶対パスを指定、args = ["mcp"]とする；Claude Codeではclaude mcp add computer_use -- python3 <リポジトリ>/osworld/guest_files/claude_mcp_schema_adapter.py <パス>/computer-use mcpを使用；python3 -m hcu.render_agent_configにより、4種類のエージェント向けの完全な設定と付随する指示を生成できる。
- スクリプト化：computer-use appsでウィンドウを一覧表示、computer-use find w1 --role button --name-has Saveでコントロールを検索、computer-use click r12 --wait '{"window":"Save"}'でクリックしウィンドウの出現を待機；Pythonではsdk/python内のhcu_sdkを使用する。
リスク
- これは現在ログイン中のデスクトップに実際の入力を送信する；著者らは、信頼できないタスクは専用デスクトップまたは使い捨て仮想マシンで実行することを推奨している。
- 評価数値は著者による自己申告であり、比較対象のインターフェースはCUA Driverのみ；MacAgentBenchではUIサブセットの28タスクのみが評価された。各システムのアクセシビリティおよびスクリーンショット権限は、リポジトリのdocs/PLATFORMS.mdに従って個別に設定する必要がある。