原题:microsoft/Mage-VL-Cowork
Microsoft Mage チームが Mage-VL 4B の中間チェックポイントで訓練したコンピュータ操作エージェント(Mage-ViT ビジュアルエンコーダ + Qwen3-4B)。1つのモデル内に2つのアクションチャネルが存在する:computer_use はスクリーンショットを見てマウスをクリックしキーボードを打鍵し、bash はコマンドを実行し Python でファイルを処理する。各ステップでモデルがチャネルを自律的に選択するため、外部スケジューラは不要である。訓練は5段階で構成され、まずインターフェースの位置特定、インターフェース操作、ターミナルプログラミングを個別に訓練し、その後混合 SFT とオンライン強化学習を統合して実施する。公式によれば、OSWorld-Verified(50 ステップ予算)において 66.0% を達成し、4B スケールで最高成績を記録した。オンライン強化学習は混合 SFT に比べて 10.16 ポイント向上し、同時に呼び出し回数と出力長を削減した。
なぜ重要か 小規模モデルでもコンピュータ操作エージェントを実現可能。ファイル変更はスクリプト経由、インターフェース操作はクリック経由とし、ステップ数を削減
上昇スコア 65 · いいね 217 · ダウンロード数 3714
理由
- 表、ドキュメント、スライドなどの構造化ファイルはコードで編集し、キャンバス編集やインターフェースのリアルタイム状態の確認のみスクリーンショットとクリックを使用することで、段階的なマウスクリックを削減
- bf16 重みは約 9.48 GB で、公式は SGLang Docker イメージと transformers 推論例を提供
- モデルカードには訓練フローとタスク合成手法(Mage-CUA-Forge)が完全に記載されており、ライセンスは Apache-2.0
使い方
- SGLang でサービスを開始する場合(trust_remote_code が必要、コンテキスト長 32,768、temperature 0.7、top_p 0.8 を推奨)、または公式 Docker イメージを直接使用
- システムプロンプトと2つのツール定義は、モデルカードに記載されたバージョンをそのまま使用すること
リスク
- カスタムアーキテクチャ llava_onevision2 であり、標準的な Qwen3-VL として読み込むことはできない
- 成績は公式の自己申告であり、モデルカードには英語のみが記載されている
- モデルはコンピュータを直接操作し shell コマンドを実行するため、仮想マシンまたはサンドボックス内で使用することを推奨
- 本項目は未実行であり、効果はモデルカードを参照のこと