Microsoft Mage チームによる 4B パラメータのコンピュータ操作モデル：デスクトップのスクリーンショットを確認後、各ステップでマウスとキーボードによるインターフェース操作（computer_use、11 種類のアクション）を行うか、ターミナルで shell / Python（bash）を実行するかを自律的に判断します。外部のスケジューラを必要とせず、単一のモデルでアプリケーションを横断するデスクトップタスクを完遂します。Mage-VL 4B の中間チェックポイント（Mage-ViT と Qwen3-4B）から訓練されました。
上昇スコア 90 · いいね 91 · ダウンロード数 233
理由
- 公式によると、OSWorld-Verified でのスコアは 66.0% です（361 問、Google Drive 系を除く、50 ステップの予算、2回の完全な評価の平均）。そのうちオペレーティングシステム系は 87.5%、マルチアプリワークフローは 62.7% です。同じ表では、ScaleCUA-Qwen3.5-9B が 68.7、Qwen3.6-27B が 63.9、GPT-5.4-mini が 69.6、人間基準が 72.4 となっています。
- 役割分担を行います：表計算、ドキュメント、プレゼンテーションなどの構造化された修正は、ターミナルで openpyxl / python-pptx を使用して直接行い、キャンバス編集やインターフェース状態の確認時のみマウス操作を行います。公式デモでは、LibreOffice Calc のタスク（セル結合、棒グラフ追加、.xlsx 保存）において、本モデルは 39 秒 6 ステップで完了しましたが、インターフェースのみをクリックする Qwen3.6-27B は 9 分 56 秒、39 ステップを要しました。
- 訓練レシピが詳細に記載されています：5つの段階として、GUI 中期訓練、GUI エージェント SFT、プログラミング / ターミナル SFT、混合 SFT、オンライン GRPO 強化学習が順に行われ、合計 293,806 個のタスクが合成されました。公式によると、強化学習は混合 SFT よりも 10.16 ポイント高く、出力トークン数は 25.4% 少ないです。10 月 30 日にリポジトリが作成され、それ以前の号では取り上げられていませんでした。
使い方
- サービス：公式 Docker イメージ xiaoyizhang/mage-vl-cowork:0.1.0（SGLang 0.5.2 を同梱）を使用し、重みディレクトリをマウントすればサービスを起動できます。また、python -m sglang.launch_server --model-path microsoft/Mage-VL-Cowork --trust-remote-code --context-length 32768 --tool-call-parser qwen25 を実行し、SGLANG_MAX_PIXELS=4000000 を設定して、1920×1080 スクリーンショットの詳細を保持することも可能です。
- システムプロンプトは、カード内の MAGE_HYBRID_SYSTEM_PROMPT をそのまま使用する必要があります。これには computer_use と bash の2つのツールが定義されており、座標は 0–999 に正規化されています。モデルは各ステップで \u003cthink\u003e 推論、1行の Action、および \u003ctool_call\u003e を出力します。サンプリングには temperature 0.7、top_p 0.8、max_new_tokens 4096 を使用します。
- 完全なタスクを実行するには、リポジトリ osworld_eval/ 内の MAGEHybridAgent を接続します。直近の 3 枚のスクリーンショットを保持し、それ以前のステップは1文の要約に折り畳みます。Transformers を使用したオフライン推論には transformers>=4.57.3 が必要であり、trust_remote_code=True を有効にする必要があります。
リスク
- 任意の shell コマンドやインターフェース操作を実行します。公式は、隔離された使い捨てのコンテナまたは仮想マシン内でのみ実行し、個人鍵、ブラウザクッキー、クラウド認証情報をマウントしないよう要求しています。支払いやログインなどの不可逆的な操作の前には、人間の確認が必要です。
- 成績はすべて公式の自己評価であり、66.0 は自社製のハーネスを使用し、2回のランの平均値です。Web タスクの WebVoyager-Static における 58.6 は SFT 版の成績であり、ブラウザ特化型の Fara1.5-4B（68.0）より低いです。カードには Linux デスクトップ（OSWorld）の成績のみが記載されています。
- アーキテクチャはカスタムの llava_onevision2 であり、trust_remote_code を有効にする必要があり、標準的な Qwen3-VL として読み込むことはできません。推論ウィンドウは 32K で訓練されています。bf16 重みは 9.48 GB ですが、VRAM 要件はカードに記載されていません。技術レポートは現在 GitHub 上の PDF です。