Оригинальное название: ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization
Визуальные агенты при ответе на вопросы по фотографиям сверхвысокого разрешения должны увеличивать соответствующие области, но часто отвечают, опираясь на здравый смысл; обучение с подкреплением, вознаграждающее только за финальный ответ, не исправляет эту проблему, поскольку награда за угадывание и за корректное считывание информации одинакова. CrossRPO использует «контрастные наборы» для обучения: к одному вопросу подбираются несколько изображений, различающихся лишь в небольшой области с доказательствами, и имеющих разные ответы; полностью правильные ответы возможны только при реальном считывании доказательств, а награда начисляется за всю группу. Авторы редактировали небольшой объект на фотографиях размером от 21 до 120 мегапикселей для создания обучающих и оценочных наборов данных, а также сняли реальные вариации фотографий, чтобы исключить следы редактирования. ViRA-9B и ViRA-27B обучались всего на примерно 3,500 примерах; авторы сообщают, что на ViRA-Bench при максимальном разрешении доля полностью правильных ответов составляет 63.3%, у GRPO — 59.3%, а версия 9B является самой точной среди открытых моделей того же размера.
Почему это важно В задачах вопрос-ответ по огромным фотографиям модели часто угадывают правильный ответ, опираясь на здравый смысл; авторы утверждают, что крупная версия превосходит две закрытые модели с максимальным уровнем размышлений на большинстве бенчмарков
Лайков 1 · Звёзд на GitHub 2
Причины
- Выпущены ViRA-9B (на базе Qwen3.5-9B) и ViRA-27B (на базе Qwen3.8-27B), а также оценочные наборы ViRA-Bench, ViRA-Bench-Real и обучающий набор ViRA-Train
- Ответ считается правильным только если верны все элементы группы, что лучше различает считывание доказательств и угадывание, чем точность по отдельным изображениям
- Репозиторий содержит код для обучения на базе verl, скрипты запуска для всех экспериментов и абляций из статьи, а также код для оценки
Использование
- Код: коллекция ViRA в аккаунте huaweilin https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸
- Разверните huaweilin/ViRA-9B с помощью vLLM, затем задайте вопрос командой python -m vira.infer --image photo.jpg --budget 1 --question "…"; параметр --budget контролирует бюджет пикселей для первого изображения и каждого последующего увеличения; для версии 27B на одной видеокарте с 80 ГБ памяти необходимо увеличить параметр использования видеопамяти
Риски
- Варианты изображений в оценочном наборе созданы путём редактирования, реальные снятые контрастные группы составляют всего 78 групп; для оценки открытых ответов используется GPT-4o
- На некоторых общих бенчмарках (например, O3-Bench) результаты всё ещё ниже, чем у двух закрытых моделей
- Результаты сообщаются авторами; в данном обзоре они не воспроизводились