Оригинальное название: Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning
При вызове инструментов визуальными агентами часто возникают две проблемы: они получают изображения от инструментов, но не используют их; сами действия инструментов не точны, поэтому последующее дистиллирование не приносит пользы. Reframe основан на Qwen3.5-9B: на первом этапе GD-GRPO отдельно обучает экспертов по изображениям и видео, используя вознаграждение за локализацию для контроля действий инструментов, и случайно удаляет исходные изображения после вызова инструмента, заставляя модель отвечать на основе возвращенных наблюдений; на втором этапе OG-MOPD объединяет экспертов в одну студенческую модель, заменяя некачественные действия инструментов стандартными и продолжая дистиллирование. Оба этапа не требуют холодного старта с помощью специализированного SFT. Авторы утверждают, что метод превосходит Mix-RL и обычное многоучительское дистиллирование на 14 бенчмарках по изображениям и видео, повысив средний балл по изображениям с 63.46 до 69.48.
Почему это важно Для просмотра изображений высокого разрешения и длинных видео часто требуется увеличение или вырезание фрагментов; этот подход позволяет модели не только вызывать инструменты, но и использовать возвращаемые результаты, веса и данные уже опубликованы
Лайков 38 · Звезд на GitHub 31
Причины
- Ориентирован на задачи вопросов и ответов по изображениям высокого разрешения и длинным видео, требующие «увеличения деталей и поиска фрагментов»
- Во время вывода используются только два инструмента, не требуются эксперты-учителя и разметка локализации
- Код, веса модели 9B и обучающие данные Reframe-100K опубликованы, включая скрипты для двухэтапного обучения и оценку на 14 бенчмарках
Использование
- Код: https://github.com/EliYuan30/Reframe;权重:抱脸 EliYuan00/Reframe; данные: EliYuan00/Reframe-100K
- После загрузки модели через hf download выполните пример с помощью команды python inference/run.py --model <путь> --visual <изображение> --question <вопрос>
Риски
- Сравнение с существующими моделями, такими как DeepEyes и Thyme, выполнено авторами в собственных условиях
- Обучение основано на фреймворке ms-swift, для воспроизведения требуется многокарточная среда обучения с подкреплением
- Данный пункт не был проверен на выполнение