Titre original : Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
Des recherches récentes suggèrent que les modèles de génération d'images ont acquis une compréhension du monde réel. Vision Banana aborde les tâches visuelles comme une « édition d'images conditionnelle », mais les données, les poids et le code n'ont pas été publiés. Open Vision Banana propose une recette entièrement ouverte et reproductible : sur les modèles de base FLUX.2 [klein] 4B et 9B, un fine-tuning est effectué avec des paires d'échantillons allant de 210 à 380 mille issus de jeux de données publics. Un seul modèle permet de basculer entre la segmentation sémantique / par instance / référentielle, l'estimation de la profondeur et des normales de surface via des prompts, tout en conservant essentiellement les capacités d'édition d'images et de génération texte-image du modèle original. Les auteurs ont analysé l'encodage des couleurs, la conception des prompts, l'adaptation des paramètres et le ratio des tâches, découvrant que ces choix s'influencent mutuellement : des approches efficaces individuellement peuvent se dégrader lorsqu'elles sont combinées. Ils proposent également une « intégration de légendes » : utiliser plusieurs correspondances catégorie-couleur pour effectuer une segmentation chacune, puis voter, ce qui améliore les performances de segmentation sans réentraînement.
Pourquoi c'est important Reproduit l'approche de Vision Banana, qui ne publiait que des articles sans ouvrir le code, et rend chaque étape publique, permettant d'appliquer la méthode à ses propres modèles de base de génération d'images
J'aime 29 · Étoiles du code 14
Raisons
- Les auteurs affirment que la version zéro-shot de 9B atteint 73.9 mIoU sur Cityscapes, supérieur aux 69.9 rapportés par Vision Banana ; l'estimation de la profondeur est comparable aux meilleurs modèles actuels de profondeur affine-invariante ; l'intégration de légendes améliore les scores jusqu'à 8.7 et 15.0 points sur Cityscapes et COCO-Object
- Le contenu public est complet : flux de téléchargement et de traitement des données, scripts d'entraînement et d'évaluation, poids finaux zéro-shot et non-zéro-shot pour 4B / 9B, points de contrôle intermédiaires, modèles d'ablation et LoRA
- Les auteurs mentionnent également les limites : la version non-zéro-shot reste à moins de cinq points de Vision Banana sur la segmentation référentielle et par raisonnement, l'écart étant plus important pour la segmentation par instance
Utilisation
- Code : https://github.com/OpenVisionBanana/OpenVisionBanana;权重:抱脸 FunAILab/Open-Vision-Banana
- Utilisez Flux2KleinPipeline de diffusers pour charger black-forest-labs/FLUX.2-klein-base-9B, remplacez le transformer par les poids du sous-répertoire correspondant dans le dépôt ; les prompts commencent par des étiquettes de tâche telles que [TASK: SEMANTIC_SEGMENTATION] et indiquent les couleurs des catégories, les prompts pour chaque tâche sont disponibles dans PROMPTS.md
Risques
- Les poids dérivent de FLUX.2 [klein] Base et sont publiés sous la licence non commerciale FLUX, ce qui interdit l'usage commercial ; le code est sous Apache-2.0
- Les scores sur Cityscapes et la segmentation par instance utilisent l'intégration de légendes (respectivement 20 et 11 exécutions) et un filtrage par grands modèles multimodaux, les scores d'une seule inférence seront donc plus bas ; les résultats sont ceux rapportés par les auteurs, cette entrée n'a pas été exécutée