Titre original : Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning
Les agents visuels rencontrent souvent deux problèmes lorsqu'ils appellent des outils : ils reçoivent les images renvoyées par l'outil mais ne les utilisent pas ; l'action de l'outil elle-même n'est pas précise, ce qui empêche la distillation ultérieure d'apprendre quoi que ce soit. Reframe est basé sur Qwen3.5-9B : la première phase, GD-GRPO, entraîne séparément des experts en images et en vidéos, supervise les actions de l'outil à l'aide d'une récompense de localisation, et supprime aléatoirement l'image originale après l'appel de l'outil, forçant le modèle à répondre en se basant sur les observations renvoyées ; la deuxième phase, OG-MOPD, fusionne les experts dans un modèle étudiant, remplace les actions d'outil non conformes par des actions standard et poursuit la distillation. Aucune des deux phases ne nécessite de démarrage à froid SFT spécifique à la tâche. Les auteurs affirment que Reframe dépasse Mix-RL et la distillation multi-enseignants classique sur 14 benchmarks d'images et de vidéos, avec une moyenne des scores en images passant de 63.46 pour le modèle de base à 69.48.
Pourquoi c'est important L'analyse d'images haute résolution et de vidéos longues nécessite souvent un zoom ou l'extraction de segments ; cette approche permet au modèle non seulement d'appeler des outils, mais aussi d'utiliser les résultats renvoyés. Les poids et les données sont tous deux ouverts
J'aime 38 · Étoiles du code 31
Raisons
- Conçu pour les tâches de question-réponse sur des images haute résolution et des vidéos longues nécessitant de « zoomer sur les détails, trouver des segments »
- N'utilise que deux outils lors de l'inférence, sans nécessiter d'enseignants experts ni d'annotations de localisation
- Le code, les poids de 9B et les données d'entraînement Reframe-100K sont tous publics, incluant les scripts d'entraînement en deux phases et l'évaluation sur 14 benchmarks
Utilisation
- Code : https://github.com/EliYuan30/Reframe;权重:抱脸 EliYuan00/Reframe ; Données : EliYuan00/Reframe-100K
- Téléchargez le modèle avec hf download, puis exécutez l'exemple avec python inference/run.py --model <chemin> --visual <image> --question <question>
Risques
- La comparaison avec les modèles existants tels que DeepEyes et Thyme est basée sur des tests internes des auteurs dans une configuration unifiée
- L'entraînement est basé sur le framework ms-swift, la reproduction nécessite un environnement d'apprentissage par renforcement multi-GPU
- Cette entrée n'a pas été exécutée
Ouvrir · Code · Page du papier