Оригинальное название: LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis
Агентная генерация изображений часто требует использования множества референсных изображений, однако существующие оценки обычно проверяют лишь общую правдоподобность результата. LongBanana включает 90 задач, разработанных экспертами, каждая из которых содержит около 32 референсных изображений, 20 ограничений и 50 пунктов проверки. Требования разбиваются на чек-лист с помощью графа связей между сущностями, а оценка производится по трем аспектам: точность содержания, привязка связей и глобальные ограничения. Также представлен агентный фреймворк генерации LongBanana-Gen. Авторы сообщают о согласованности 89.4% на подмножестве с двойной экспертной разметкой; даже простейший агентный процесс превосходит прямую генерацию, а улучшения от процесса ReAct-Планирование-Выполнение-Рефлексия (RPR) зависят от используемого фреймворка.
Почему это важно Агентная генерация изображений становится все более распространенной, и эта система оценки с чек-листом позволяет по пунктам проверять, правильно ли использовано содержание референсных изображений
Лайки 28 · Звезды в коде 2
Причины
- Ориентация на синтез с множеством референсов: поиск разрозненных доказательств, исключение отвлекающих изображений, правильная привязка сущностей и связей — эти аспекты не выявляются единой метрикой качества изображения
- Код под лицензией MIT, данные под CC BY 4.0, возможна интеграция с тремя агентными системами (OpenClaw, Codex, Claude Code) для генерации и оценки
- Пункты проверки разработаны и проверены экспертами, результаты можно проследить по каждому пункту
Использование
- Код: https://github.com/KlingAIResearch/LongBanana;数据:抱脸 KlingTeam/LongBanana (версии open_v1 и open_v1p5)
- После установки через pip install -e . используйте python -m longbanana generate для генерации и python -m longbanana judge для оценки; сначала добавьте флаг --dry-run для проверки входных данных без вызова API
Риски
- Это система оценки и рабочий процесс, а не новая модель; для генерации фиксированно используется Gemini 3.1 Flash Image, требуется коммерческий API-ключ, полный запуск влечет расходы
- В README указано, что песочница Bubblewrap не ограничивает сетевой доступ
- Оценка зависит от оценок большой языковой модели; при смене модели-оценщика результаты нельзя напрямую сравнивать