ViRA : un agent visuel à ultra-haute résolution capable de zoomer pour voir les détails

Lorsqu'ils répondent à des questions sur des photos en ultra-haute résolution, les agents visuels doivent zoomer sur les zones pertinentes, mais ils répondent souvent en se basant sur le bon sens ; l'apprentissage par renforcement qui ne récompense que la réponse finale ne corrige pas ce comportement, car une réponse devinée correctement et une réponse lue correctement reçoivent la même récompense. CrossRPO utilise des « ensembles de comparaison » pour l'entraînement : une même question est associée à plusieurs images qui ne diffèrent que par une petite zone contenant les preuves, avec des réponses différentes ; seule la lecture réelle des preuves permet de répondre correctement à toutes les questions, et la récompense est attribuée pour l'ensemble du groupe. Les auteurs ont édité un petit objet dans des photos de 21 à 120 mégapixels pour construire les ensembles d'entraînement et d'évaluation, et ont également pris des groupes de photos présentant des variations réelles afin d'exclure les traces d'édition. ViRA-9B et ViRA-27B sont entraînés avec seulement environ 3,500 exemples chacun ; les auteurs affirment que sur ViRA-Bench, à la résolution maximale, le taux de réussite pour l'ensemble du groupe est de 63.3%, contre 59.3% pour GRPO, et que la version 9B est la plus précise parmi les modèles open source de taille comparable.

Titre original : ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization

Lorsqu'ils répondent à des questions sur des photos en ultra-haute résolution, les agents visuels doivent zoomer sur les zones pertinentes, mais ils répondent souvent en se basant sur le bon sens ; l'apprentissage par renforcement qui ne récompense que la réponse finale ne corrige pas ce comportement, car une réponse devinée correctement et une réponse lue correctement reçoivent la même récompense. CrossRPO utilise des « ensembles de comparaison » pour l'entraînement : une même question est associée à plusieurs images qui ne diffèrent que par une petite zone contenant les preuves, avec des réponses différentes ; seule la lecture réelle des preuves permet de répondre correctement à toutes les questions, et la récompense est attribuée pour l'ensemble du groupe. Les auteurs ont édité un petit objet dans des photos de 21 à 120 mégapixels pour construire les ensembles d'entraînement et d'évaluation, et ont également pris des groupes de photos présentant des variations réelles afin d'exclure les traces d'édition. ViRA-9B et ViRA-27B sont entraînés avec seulement environ 3,500 exemples chacun ; les auteurs affirment que sur ViRA-Bench, à la résolution maximale, le taux de réussite pour l'ensemble du groupe est de 63.3%, contre 59.3% pour GRPO, et que la version 9B est la plus précise parmi les modèles open source de taille comparable.

Pourquoi c'est important Les questions sur des photos très grandes sont souvent devinées correctement par les modèles grâce au bon sens ; les auteurs affirment que la grande version dépasse deux modèles propriétaires fermés utilisant le niveau de réflexion maximal sur la plupart des benchmarks.

J'aime 1 · Étoiles du code 2

Raisons

  • ViRA-9B (basé sur Qwen3.5-9B) et ViRA-27B (basé sur Qwen3.8-27B) sont disponibles, ainsi que les ensembles d'évaluation ViRA-Bench, ViRA-Bench-Real et l'ensemble d'entraînement ViRA-Train
  • La réussite de l'ensemble du groupe est requise pour considérer la réponse comme correcte, ce qui distingue mieux la lecture des preuves de la simple devinette par rapport à la précision sur une seule image
  • Le dépôt contient le code d'entraînement basé sur verl, les scripts de lancement pour tous les entraînements et ablations décrits dans l'article, ainsi que le code d'évaluation

Utilisation

  • Code : collection ViRA du compte huaweilin https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸
  • Déployez huaweilin/ViRA-9B avec vLLM, puis posez une question en utilisant python -m vira.infer --image photo.jpg --budget 1 --question "…" ; l'argument --budget contrôle le budget de pixels pour la première image et chaque zoom ; pour la version 27B sur une seule carte graphique de 80 Go, il faut augmenter les paramètres d'utilisation de la mémoire vidéo

Risques

  • Les variantes d'images de l'ensemble d'évaluation sont générées par édition, et il n'y a que 78 groupes de comparaison pris en photo réels ; les réponses ouvertes sont évaluées par GPT-4o
  • Sur certains benchmarks généraux (comme O3-Bench), les performances restent inférieures à celles des deux modèles propriétaires fermés
  • Les résultats sont rapportés par les auteurs ; cette entrée n'a pas été exécutée

Ouvrir · Code · Page de l'article sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA