Titre original : LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis
La génération d'images pilotée par des agents puise souvent dans de nombreuses images de référence, mais les évaluations existantes se concentrent principalement sur la cohérence visuelle. LongBanana propose 90 tâches conçues par des experts, chacune comportant environ 32 images de référence, 20 contraintes et 50 points de vérification. Un graphe de relations entre entités décompose les exigences en une liste de contrôle vérifiable point par point, avec une notation basée sur trois aspects : la fidélité du contenu, la liaison des relations et les contraintes globales. Le cadre de génération agentique LongBanana-Gen est également fourni. Les auteurs rapportent un taux de concordance de 89.4% sur le sous-ensemble doublement annoté par des experts. Même le flux agentique le plus simple surpasse la génération directe, tandis que les gains apportés par le flux ReAct-Planification-Exécution-Réflexion (RPR) varient selon le cadre utilisé.
Pourquoi c'est important La génération d'images pilotée par des agents devient de plus en plus courante. Cette évaluation dotée d'une liste de contrôle permet de vérifier point par point si le contenu des images de référence est correctement utilisé.
J'aime 28 · Étoiles du code 2
Raisons
- Conçu pour la synthèse multi-références : récupérer des preuves dispersées, exclure les images parasites, lier correctement les entités et les relations, autant d'aspects qu'un score unique de qualité d'image ne peut mesurer
- Code sous licence MIT, données sous CC BY 4.0, intégration possible avec OpenClaw, Codex et Claude Code pour exécuter la génération et l'évaluation
- Les points de vérification sont conçus et revus par des experts, permettant une traçabilité point par point des résultats
Utilisation
- Code : https://github.com/KlingAIResearch/LongBanana;数据:抱脸 KlingTeam/LongBanana (deux versions : open_v1 et open_v1p5)
- Après
pip install -e ., utilisezpython -m longbanana generatepour la génération etpython -m longbanana judgepour l'évaluation ; ajoutez d'abord--dry-runpour vérifier les entrées sans appeler l'API
Risques
- Il s'agit d'une évaluation et d'un flux de travail, pas d'un nouveau modèle ; la génération utilise toujours Gemini 3.1 Flash Image, nécessite une clé API commerciale et engendre des coûts pour une exécution complète
- Le README avertit que le bac à sable Bubblewrap ne restreint pas l'accès au réseau
- L'évaluation repose sur la notation par un grand modèle de langage ; les scores ne sont pas directement comparables si le modèle d'évaluation change