「二層フライホイール」構造を持つコンピュータ操作エージェントの訓練フレームワーク。外層では、オープンワールドのコーパスとモデルの現在の弱点を結びつけ、次回のデータ生成と訓練をガイドする。内層では、まず教育動画から実際のワークフローをシードタスクとして抽出する（転写テキスト内の意味的トリガーと画面変化の視覚的トリガーという2つの経路を用いて操作軌跡を再構築する）。次に、シードを再利用可能な「能力プリミティブ」として抽象化し、数と難易度を制御でき、検証器を備えた新しいタスクを組み合わせる。軌跡の収集時には、実際の環境でエラーが発生した場合、フィードバックに基づいてスナップショットをロールバックして再試行する。生成された CUA-Master-27B は Qwen3.5-27B をベースにしており、複数の SFT および RL 訓練を経て、純粋な GUI 操作と GUI+CLI の混合操作の両方をサポートする。
いいね 92 · コードのスター数 86
理由
- 著者は OSWorld Verified 80.2、OSWorld 2.0 36.9、WeaveBench 43.9、Agents' Last Exam 25.0 を報告している。モデルカードには WindowsAgentArena 56.2、MacOSWorld 43.0、MacAgentBench 59.9 も別途記載されており、各タスクの平均所要時間（OSWorld Verified は約 8 分）も示されている。
- 重みとデータパイプライン全体が公開されている：Hugging Face の yxl66666/CUAMaster-27B。リポジトリには、動画検索、転写、適用性スコアリング、軌跡再構築、タスク合成、サンドボックス収集から ms-swift SFT データ変換までのすべてのコマンドラインが含まれている。
- Hugging Face のその日のいいね数で3位（注目度のみを示す）。「教育動画からシードタスクを抽出する」というアプローチは、モデル自身の経験生成に依存しないため、独自のエージェントの訓練データ生成に単独で活用できる。
使い方
- インストール：pip install -e ".[seeding,annotator,collection,dev]"、cp .env.example .env で API キーとサンドボックスサービスアドレスを入力する。
- データ生成：python -m cuamaster.seeding.harvesting.search_cli で教育動画を検索 → …harvesting.download でダウンロード → …transcription.transcribe で faster-whisper を使用して転写 → …scoring.score で 0–5 のスコアを付与 → …reconstruction.construct でシード軌跡を再構築。cuamaster-synthesize で新しいタスクを合成する。
- 軌跡収集：まず cuamaster-collect --config configs/collection/mock_command.example.json で仮想マシンなしのスモークテストを行う。本格的な収集には、SandboxProvider インターフェースを通じて独自の仮想マシンオーケストレーションを接続する必要がある。cuamaster-dataset で SFT データをエクスポートする。
- モデル：Hugging Face の yxl66666/CUAMaster-27B。アクション座標は [0,1000] に正規化されている。モデルカードでは、サンドボックス内で実行し、結果を確認してから権限を緩和するよう注意喚起している。
リスク
- モデルカードにライセンスが記載されておらず、推論デプロイのコマンドも提供されていない。コードは pyproject で Apache-2.0 と標記されているが、リポジトリのルートディレクトリに LICENSE ファイルがないため、商用利用前に著者に確認する必要がある。
- 完全なワークフローは外部 API（アノテーションモデル）、動画ダウンロード、および自作の仮想マシンサンドボックスに依存しており、再現コストが高い。RL 部分の README には、タスク検証器による結果報酬の付与のみが記載されており、既存のスクリプトはない。
- スコアは著者による報告値であり、長いタスクでは1タスクあたり数分から1時間以上かかる場合がある。エージェントはファイルの変更やコマンドの実行を行うため、メインマシンで直接実行しないこと。
開く · コード · Hugging Face 論文ページ