Iris-Z: дообученная модель FLUX.2, одновременно генерирующая изображения и карты глубины

Генеративная модель, загруженная speridlabs 11 4, дообученная на базе FLUX.2-dev и FLUX.2-klein-base-9B. Одна и та же совокупность весов позволяет выполнять генерацию изображений по тексту, генерацию изображений с одновременным выводом глубины, оценку глубины по фотографии и генерацию новых изображений на основе карт глубины. Доступны две версии: Iris-Z-big (32.2B) и Iris-Z-small (9.1B), поддерживающие разрешения 512 и 1024; научная статья опубликована на arXiv 2611.16010.

Оригинальное название: speridlabs/iris-z

Генеративная модель, загруженная speridlabs 11 4, дообученная на базе FLUX.2-dev и FLUX.2-klein-base-9B. Одна и та же совокупность весов позволяет выполнять генерацию изображений по тексту, генерацию изображений с одновременным выводом глубины, оценку глубины по фотографии и генерацию новых изображений на основе карт глубины. Доступны две версии: Iris-Z-big (32.2B) и Iris-Z-small (9.1B), поддерживающие разрешения 512 и 1024; научная статья опубликована на arXiv 2611.16010.

Почему это важно Авторы утверждают, что точность оценки глубины превосходит показатели специализированных моделей, таких как MoGe-3, при этом сохраняется исходная способность модели к генерации изображений, что делает её подходящей для 3D-процессов и постобработки, требующих карт глубины

Рост рейтинга 40 · Лайки 40 · Загрузки 0

Обоснование

  • Метрика AbsRel×100 (чем ниже, тем лучше), предоставленная авторами: согласно протоколу из 7 наборов данных MoGe-3, среднее значение для big составляет 3.56, для small — 3.84, а для MoGe-3, переобученной авторами, — 3.70; согласно протоколу Marigold V2, значения для big и small составляют 2.92 и 3.11 соответственно
  • Авторы сообщают, что оценка глубины по фотографии на одной видеокарте H200 занимает 4 шагов: для big при разрешениях 512 / 1024 время составляет примерно 1.44 / 5.29 секунд, для small — примерно 0.52 / 1.92 секунд; при генерации изображений по тексту за 50 шагов small при разрешении 1024 работает примерно 38.3 секунд
  • Выходные данные включают относительную логарифмическую глубину (.npy), цветные карты глубины и маски неба; перерисовка по карте глубины поддерживает три формата входных данных: глубина, параллакс и цвет

Использование

  • Выполните git clone speridlabs/iris-z-sdk, затем uv sync (требуется Python 3.10, PyTorch 2.9.1, CUDA 13.0, драйвер версии 580 или выше); предварительно необходимо принять условия использования FLUX.2-dev на Hugging Face и выполнить hf auth login (для доступа к автоэнкодеру)
  • Командная строка: uv run python -m iris_z.sample depth --image photo.jpg (добавьте --model small для использования версии small); подкоманды image, rgbd и paint соответствуют генерации изображений по тексту, генерации изображений с глубиной и перерисовке по карте глубины соответственно
  • Python: IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big"); при оценке только глубины добавьте load_text_encoder=False, чтобы не загружать текстовый энкодер; для воспроизведения бенчмарков используйте seeds=range(10) и вычисляйте медиану по пикселям

Риски

  • Память GPU: авторы указывают, что для работы всех функций версии big требуется примерно 112 ГБ, а версии small — примерно 33 ГБ, что делает невозможным запуск big на потребительских видеокартах
  • Веса распространяются под некоммерческой лицензией FLUX, код SDK — под лицензией Apache-2.0; также необходимо принять ограничительные условия использования FLUX.2-dev
  • Показатели глубины получены авторами в соответствии с протоколами из их статьи, некоторые сравнительные модели были переобучены авторами; в карточке модели не упоминается поддержка ComfyUI. Данный пункт не проверялся на практике

Открыть

Hugging Face Trending

Открыть последние новости ИИ