Mage-VL-Cowork:Microsoft 4B パラメータのコンピュータ操作エージェント、クリックもコード作成も可能

Microsoft Mage チームが Mage-VL 4B の中間チェックポイントで訓練したコンピュータ操作エージェント(Mage-ViT ビジュアルエンコーダ + Qwen3-4B)。1つのモデル内に2つのアクションチャネルが存在する:computer_use はスクリーンショットを見てマウスをクリックしキーボードを打鍵し、bash はコマンドを実行し Python でファイルを処理する。各ステップでモデルがチャネルを自律的に選択するため、外部スケジューラは不要である。訓練は5段階で構成され、まずインターフェースの位置特定、インターフェース操作、ターミナルプログラミングを個別に訓練し、その後混合 SFT とオンライン強化学習を統合して実施する。公式によれば、OSWorld-Verified(50 ステップ予算)において 66.0% を達成し、4B スケールで最高成績を記録した。オンライン強化学習は混合 SFT に比べて 10.16 ポイント向上し、同時に呼び出し回数と出力長を削減した。

原题:microsoft/Mage-VL-Cowork

Microsoft Mage チームが Mage-VL 4B の中間チェックポイントで訓練したコンピュータ操作エージェント(Mage-ViT ビジュアルエンコーダ + Qwen3-4B)。1つのモデル内に2つのアクションチャネルが存在する:computer_use はスクリーンショットを見てマウスをクリックしキーボードを打鍵し、bash はコマンドを実行し Python でファイルを処理する。各ステップでモデルがチャネルを自律的に選択するため、外部スケジューラは不要である。訓練は5段階で構成され、まずインターフェースの位置特定、インターフェース操作、ターミナルプログラミングを個別に訓練し、その後混合 SFT とオンライン強化学習を統合して実施する。公式によれば、OSWorld-Verified(50 ステップ予算)において 66.0% を達成し、4B スケールで最高成績を記録した。オンライン強化学習は混合 SFT に比べて 10.16 ポイント向上し、同時に呼び出し回数と出力長を削減した。

なぜ重要か 小規模モデルでもコンピュータ操作エージェントを実現可能。ファイル変更はスクリプト経由、インターフェース操作はクリック経由とし、ステップ数を削減

上昇スコア 65 · いいね 217 · ダウンロード数 3714

理由

  • 表、ドキュメント、スライドなどの構造化ファイルはコードで編集し、キャンバス編集やインターフェースのリアルタイム状態の確認のみスクリーンショットとクリックを使用することで、段階的なマウスクリックを削減
  • bf16 重みは約 9.48 GB で、公式は SGLang Docker イメージと transformers 推論例を提供
  • モデルカードには訓練フローとタスク合成手法(Mage-CUA-Forge)が完全に記載されており、ライセンスは Apache-2.0

使い方

  • SGLang でサービスを開始する場合(trust_remote_code が必要、コンテキスト長 32,768、temperature 0.7、top_p 0.8 を推奨)、または公式 Docker イメージを直接使用
  • システムプロンプトと2つのツール定義は、モデルカードに記載されたバージョンをそのまま使用すること

リスク

  • カスタムアーキテクチャ llava_onevision2 であり、標準的な Qwen3-VL として読み込むことはできない
  • 成績は公式の自己申告であり、モデルカードには英語のみが記載されている
  • モデルはコンピュータを直接操作し shell コマンドを実行するため、仮想マシンまたはサンドボックス内で使用することを推奨
  • 本項目は未実行であり、効果はモデルカードを参照のこと

開く

Hugging Face Trending

最新の AI ニュースを見る