原題:Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning
視覚エージェントがツールを呼び出す際には、よくある2つの問題があります。1つは、ツールから返された画像を取得してもそれを利用しないこと、もう1つは、ツールアクション自体が正確でないため、後続の蒸留(distillation)でも学習が進まないことです。Reframe は Qwen3.5-9B を基盤としています。第1段階では GD-GRPO を用いて画像と動画の専門家を個別に訓練し、位置特定報酬によってツールアクションを監督します。また、ツール呼び出し後に元の画像をランダムに削除することで、モデルが返された観察結果に基づいて回答することを強制します。第2段階では OG-MOPD を用いて、これらの専門家を1つの学生モデルに統合し、不適切なツールアクションに出会った場合は標準的なアクションに置き換えて蒸留を継続します。両段階とも、タスク専用の SFT によるコールドスタートは不要です。著者によると、14 個の画像および動画ベンチマークにおいて、Mix-RL や通常のマルチ教師蒸留を上回る性能を示し、画像の平均スコアはベースモデルの 63.46 から 69.48 に向上しました。
なぜ重要か 高解像度画像や長い動画を見る際には、拡大表示やクリップ抽出が必要になることがよくあります。この手法により、モデルはツールを呼び出すだけでなく、返された結果も活用できるようになります。重みとデータはどちらも公開されています。
いいね 38 · コードのスター数 31
理由
- 「詳細を拡大する」「クリップを探す」ことが必要な、高解像度画像や長い動画の質問応答タスク向けです
- 推論時には2つのツールのみを使用し、専門家教師や位置アノテーションは不要です
- コード、9B の重み、および Reframe-100K の訓練データがすべて公開されており、2段階の訓練スクリプトと 14 個のベンチマークの評価が含まれています
使い方
- コード:https://github.com/EliYuan30/Reframe;权重:抱脸 EliYuan00/Reframe;データ:EliYuan00/Reframe-100K
- hf download でモデルをダウンロードした後、python inference/run.py --model <パス> --visual <画像> --question <質問> を実行してサンプルを実行します
リスク
- DeepEyes や Thyme などの既存モデルとの比較は、著者による統一設定での自己テストです
- 訓練は ms-swift フレームワークに基づいており、再現にはマルチGPUの強化学習環境が必要です
- この項目はまだ実行されていません
開く · コード · Hugging Face ページ