ViRA: Сверхвысокоразрешающий визуальный агент, увеличивающий изображение для просмотра деталей

Визуальные агенты при ответе на вопросы по фотографиям сверхвысокого разрешения должны увеличивать соответствующие области, но часто отвечают, опираясь на здравый смысл; обучение с подкреплением, вознаграждающее только за финальный ответ, не исправляет эту проблему, поскольку награда за угадывание и за корректное считывание информации одинакова. CrossRPO использует «контрастные наборы» для обучения: к одному вопросу подбираются несколько изображений, различающихся лишь в небольшой области с доказательствами, и имеющих разные ответы; полностью правильные ответы возможны только при реальном считывании доказательств, а награда начисляется за всю группу. Авторы редактировали небольшой объект на фотографиях размером от 21 до 120 мегапикселей для создания обучающих и оценочных наборов данных, а также сняли реальные вариации фотографий, чтобы исключить следы редактирования. ViRA-9B и ViRA-27B обучались всего на примерно 3,500 примерах; авторы сообщают, что на ViRA-Bench при максимальном разрешении доля полностью правильных ответов составляет 63.3%, у GRPO — 59.3%, а версия 9B является самой точной среди открытых моделей того же размера.

Оригинальное название: ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization

Визуальные агенты при ответе на вопросы по фотографиям сверхвысокого разрешения должны увеличивать соответствующие области, но часто отвечают, опираясь на здравый смысл; обучение с подкреплением, вознаграждающее только за финальный ответ, не исправляет эту проблему, поскольку награда за угадывание и за корректное считывание информации одинакова. CrossRPO использует «контрастные наборы» для обучения: к одному вопросу подбираются несколько изображений, различающихся лишь в небольшой области с доказательствами, и имеющих разные ответы; полностью правильные ответы возможны только при реальном считывании доказательств, а награда начисляется за всю группу. Авторы редактировали небольшой объект на фотографиях размером от 21 до 120 мегапикселей для создания обучающих и оценочных наборов данных, а также сняли реальные вариации фотографий, чтобы исключить следы редактирования. ViRA-9B и ViRA-27B обучались всего на примерно 3,500 примерах; авторы сообщают, что на ViRA-Bench при максимальном разрешении доля полностью правильных ответов составляет 63.3%, у GRPO — 59.3%, а версия 9B является самой точной среди открытых моделей того же размера.

Почему это важно В задачах вопрос-ответ по огромным фотографиям модели часто угадывают правильный ответ, опираясь на здравый смысл; авторы утверждают, что крупная версия превосходит две закрытые модели с максимальным уровнем размышлений на большинстве бенчмарков

Лайков 1 · Звёзд на GitHub 2

Причины

  • Выпущены ViRA-9B (на базе Qwen3.5-9B) и ViRA-27B (на базе Qwen3.8-27B), а также оценочные наборы ViRA-Bench, ViRA-Bench-Real и обучающий набор ViRA-Train
  • Ответ считается правильным только если верны все элементы группы, что лучше различает считывание доказательств и угадывание, чем точность по отдельным изображениям
  • Репозиторий содержит код для обучения на базе verl, скрипты запуска для всех экспериментов и абляций из статьи, а также код для оценки

Использование

  • Код: коллекция ViRA в аккаунте huaweilin https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸
  • Разверните huaweilin/ViRA-9B с помощью vLLM, затем задайте вопрос командой python -m vira.infer --image photo.jpg --budget 1 --question "…"; параметр --budget контролирует бюджет пикселей для первого изображения и каждого последующего увеличения; для версии 27B на одной видеокарте с 80 ГБ памяти необходимо увеличить параметр использования видеопамяти

Риски

  • Варианты изображений в оценочном наборе созданы путём редактирования, реальные снятые контрастные группы составляют всего 78 групп; для оценки открытых ответов используется GPT-4o
  • На некоторых общих бенчмарках (например, O3-Bench) результаты всё ещё ниже, чем у двух закрытых моделей
  • Результаты сообщаются авторами; в данном обзоре они не воспроизводились

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ