ViRA:細部を拡大して見る超高解像度視覚エージェント

視覚エージェントが超高解像度写真の質問に答える際には関連領域を拡大する必要があるが、しばしば常識に基づいて回答してしまう。最終的な回答のみに対して報酬を与える強化学習では、推測で正解した場合と実際に読み取って正解した場合の報酬が同じであるため、この問題を修正できない。CrossRPOは「対比セット」を用いて訓練する。同じ質問に対して、小さな証拠領域のみが異なり、答えも異なる複数の画像を組み合わせ、証拠を本当に読み取った場合のみ全問正解できるようにし、報酬はグループ単位で付与する。著者は、21から120メガピクセルの写真内の小さな物体を編集して訓練セットと評価セットを構築し、編集の痕跡を排除するために実際のバリエーションを持つ写真セットを別途撮影した。ViRA-9BとViRA-27Bは、それぞれ約3,500件のデータのみで訓練されている。著者によると、ViRA-Benchの最高解像度におけるグループ正解率は63.3%で、GRPOは59.3%であり、9B版は同サイズのオープンソースモデルの中で最も精度が高い。

原題:ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization

視覚エージェントが超高解像度写真の質問に答える際には関連領域を拡大する必要があるが、しばしば常識に基づいて回答してしまう。最終的な回答のみに対して報酬を与える強化学習では、推測で正解した場合と実際に読み取って正解した場合の報酬が同じであるため、この問題を修正できない。CrossRPOは「対比セット」を用いて訓練する。同じ質問に対して、小さな証拠領域のみが異なり、答えも異なる複数の画像を組み合わせ、証拠を本当に読み取った場合のみ全問正解できるようにし、報酬はグループ単位で付与する。著者は、21から120メガピクセルの写真内の小さな物体を編集して訓練セットと評価セットを構築し、編集の痕跡を排除するために実際のバリエーションを持つ写真セットを別途撮影した。ViRA-9BとViRA-27Bは、それぞれ約3,500件のデータのみで訓練されている。著者によると、ViRA-Benchの最高解像度におけるグループ正解率は63.3%で、GRPOは59.3%であり、9B版は同サイズのオープンソースモデルの中で最も精度が高い。

なぜ重要か 超大サイズ写真の質問応答では、モデルが常識に基づいて正解を推測することが多い。著者によると、大規模版は多くのベンチマークにおいて、最高思考モードの2つのクローズドソースモデルを上回っている

いいね 1 · コードスター数 2

理由

  • ViRA-9B(Qwen3.5-9Bベース)とViRA-27B(Qwen3.8-27Bベース)、および評価セットのViRA-Bench、ViRA-Bench-Real、訓練セットのViRA-Trainが公開されている
  • グループ全体で全問正解した場合のみ正解とみなすため、単一画像の精度よりも、証拠を読み取った場合と推測した場合の区別がつきやすい
  • リポジトリには、verlに基づく訓練コード、論文内のすべての訓練およびアブレーション実験の起動スクリプト、評価コードが含まれている

使い方

  • コード:https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸 huaweilinアカウントのViRAコレクション
  • vLLMを使用してhuaweilin/ViRA-9Bをデプロイし、python -m vira.infer --image photo.jpg --budget 1 --question "…"コマンドで質問する。--budgetオプションは、最初の画像および各拡大ステップのピクセル予算を制御する。27B版では、単一の80GB GPUを使用する場合、メモリ使用量パラメータを高く設定する必要がある

リスク

  • 評価セットの画像バリエーションは編集によって生成されており、実写の対比セットは78セットのみである。オープンエンドの回答はGPT-4oによって評価されている
  • 一部の汎用ベンチマーク(O3-Benchなど)では、依然として2つのクローズドソースモデルを下回っている
  • 成績は著者による報告であり、本記事では検証していない

開く · コード · 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る