Оригинальное название: speridlabs/iris-z
Генеративная модель, загруженная speridlabs 11 4, дообученная на базе FLUX.2-dev и FLUX.2-klein-base-9B. Одна и та же совокупность весов позволяет выполнять генерацию изображений по тексту, генерацию изображений с одновременным выводом глубины, оценку глубины по фотографии и генерацию новых изображений на основе карт глубины. Доступны две версии: Iris-Z-big (32.2B) и Iris-Z-small (9.1B), поддерживающие разрешения 512 и 1024; научная статья опубликована на arXiv 2611.16010.
Почему это важно Авторы утверждают, что точность оценки глубины превосходит показатели специализированных моделей, таких как MoGe-3, при этом сохраняется исходная способность модели к генерации изображений, что делает её подходящей для 3D-процессов и постобработки, требующих карт глубины
Рост рейтинга 40 · Лайки 40 · Загрузки 0
Обоснование
- Метрика AbsRel×100 (чем ниже, тем лучше), предоставленная авторами: согласно протоколу из 7 наборов данных MoGe-3, среднее значение для big составляет 3.56, для small — 3.84, а для MoGe-3, переобученной авторами, — 3.70; согласно протоколу Marigold V2, значения для big и small составляют 2.92 и 3.11 соответственно
- Авторы сообщают, что оценка глубины по фотографии на одной видеокарте H200 занимает 4 шагов: для big при разрешениях 512 / 1024 время составляет примерно 1.44 / 5.29 секунд, для small — примерно 0.52 / 1.92 секунд; при генерации изображений по тексту за 50 шагов small при разрешении 1024 работает примерно 38.3 секунд
- Выходные данные включают относительную логарифмическую глубину (.npy), цветные карты глубины и маски неба; перерисовка по карте глубины поддерживает три формата входных данных: глубина, параллакс и цвет
Использование
- Выполните git clone speridlabs/iris-z-sdk, затем uv sync (требуется Python 3.10, PyTorch 2.9.1, CUDA 13.0, драйвер версии 580 или выше); предварительно необходимо принять условия использования FLUX.2-dev на Hugging Face и выполнить hf auth login (для доступа к автоэнкодеру)
- Командная строка: uv run python -m iris_z.sample depth --image photo.jpg (добавьте --model small для использования версии small); подкоманды image, rgbd и paint соответствуют генерации изображений по тексту, генерации изображений с глубиной и перерисовке по карте глубины соответственно
- Python: IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big"); при оценке только глубины добавьте load_text_encoder=False, чтобы не загружать текстовый энкодер; для воспроизведения бенчмарков используйте seeds=range(10) и вычисляйте медиану по пикселям
Риски
- Память GPU: авторы указывают, что для работы всех функций версии big требуется примерно 112 ГБ, а версии small — примерно 33 ГБ, что делает невозможным запуск big на потребительских видеокартах
- Веса распространяются под некоммерческой лицензией FLUX, код SDK — под лицензией Apache-2.0; также необходимо принять ограничительные условия использования FLUX.2-dev
- Показатели глубины получены авторами в соответствии с протоколами из их статьи, некоторые сравнительные модели были переобучены авторами; в карточке модели не упоминается поддержка ComfyUI. Данный пункт не проверялся на практике