Open Vision Banana: Открытый рецепт превращения генеративных моделей изображений в модели сегментации и оценки глубины

Недавние исследования предполагают, что модели генерации изображений научились понимать реальный мир. Vision Banana рассматривает задачи компьютерного зрения как «условное редактирование изображений», но данные, веса и код не были опубликованы. Open Vision Banana предлагает полностью открытый и воспроизводимый рецепт: дообучение базовых моделей FLUX.2 [klein] 4B и 9B на наборах из 210–380 тысяч пар образцов из открытых датасетов. Одна модель переключается между семантической / инстансной / референтной сегментацией, оценкой глубины и нормалей поверхности с помощью промптов, при этом практически сохраняя исходные возможности модели по редактированию изображений и генерации изображений по тексту. Авторы проанализировали цветовое кодирование, дизайн промптов, адаптацию параметров и соотношение задач, обнаружив, что эти решения влияют друг на друга: методы, эффективные по отдельности, могут ухудшить результат в комбинации. Также предложен «легендарный ансамбль» (legend ensemble): выполнение сегментации несколько раз с разными соответствиями «класс—цвет» и последующее голосование позволяет улучшить результаты сегментации без повторного обучения.

Оригинальное название: Open Vision Banana: A Fully Open Recipe for Generative Visual Perception

Недавние исследования предполагают, что модели генерации изображений научились понимать реальный мир. Vision Banana рассматривает задачи компьютерного зрения как «условное редактирование изображений», но данные, веса и код не были опубликованы. Open Vision Banana предлагает полностью открытый и воспроизводимый рецепт: дообучение базовых моделей FLUX.2 [klein] 4B и 9B на наборах из 210–380 тысяч пар образцов из открытых датасетов. Одна модель переключается между семантической / инстансной / референтной сегментацией, оценкой глубины и нормалей поверхности с помощью промптов, при этом практически сохраняя исходные возможности модели по редактированию изображений и генерации изображений по тексту. Авторы проанализировали цветовое кодирование, дизайн промптов, адаптацию параметров и соотношение задач, обнаружив, что эти решения влияют друг на друга: методы, эффективные по отдельности, могут ухудшить результат в комбинации. Также предложен «легендарный ансамбль» (legend ensemble): выполнение сегментации несколько раз с разными соответствиями «класс—цвет» и последующее голосование позволяет улучшить результаты сегментации без повторного обучения.

Почему это важно Воспроизведена идея Vision Banana, которая публиковалась только в виде статей без открытия кода, и раскрыт каждый шаг, что позволяет повторить процесс на собственной базовой модели генерации изображений

Лайков 29 · Звёзд на GitHub 14

Причины

  • Авторы заявляют, что zero-shot версия модели 9B достигает 73.9 mIoU на датасете Cityscapes, что выше показателя 69.9, сообщаемого для Vision Banana; оценка глубины сопоставима с лучшими современными аффинно-инвариантными моделями оценки глубины; легендарный ансамбль обеспечивает улучшение до 8.7 и 15.0 пунктов на датасетах Cityscapes и COCO-Object
  • Открыты все компоненты: процессы загрузки и обработки данных, скрипты обучения и оценки, финальные веса zero-shot и non-zero-shot версий 4B / 9B, промежуточные чекпоинты, модели для абляции и LoRA
  • Авторы также указывают на недостатки: non-zero-shot версия отстает от Vision Banana менее чем на пять пунктов в задачах референтной и рассуждающей сегментации, а разрыв в инстансной сегментации еще больше

Использование

  • Код: https://github.com/OpenVisionBanana/OpenVisionBanana;权重:抱脸 FunAILab/Open-Vision-Banana
  • Используйте Flux2KleinPipeline из библиотеки diffusers для загрузки black-forest-labs/FLUX.2-klein-base-9B, заменив transformer на веса из соответствующей поддиректории репозитория; промпты начинаются с метки задачи, например [TASK: SEMANTIC_SEGMENTATION], и содержат цвета классов; промпты для различных задач см. в PROMPTS.md

Риски

  • Веса получены на основе FLUX.2 [klein] Base и опубликованы под некоммерческой лицензией FLUX, что запрещает коммерческое использование; код распространяется под лицензией Apache-2.0
  • Результаты на Cityscapes и в задачах инстансной сегментации получены с использованием легендарного ансамбля (запуски 20 и 11 раз соответственно) и фильтрации с помощью мультимодальных больших языковых моделей; результаты при единичном выводе будут ниже; показатели приведены по данным авторов, в данном обзоре они не проверялись

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ