Titre original : speridlabs/iris-z
Modèle génératif uploadé par speridlabs le 4 11, fine-tuné à partir de FLUX.2-dev et FLUX.2-klein-base-9B. Les mêmes poids permettent la génération d'images à partir de texte, la génération d'images avec sortie de profondeur simultanée, l'estimation de la profondeur à partir de photos et la génération de nouvelles images à partir de cartes de profondeur. Disponible en deux versions, Iris-Z-big (32.2B) et Iris-Z-small (9.1B), avec prise en charge des résolutions 512 et 1024 ; l'article est disponible sur arXiv 2611.16010.
Pourquoi c'est important Les auteurs affirment que la précision de l'estimation de la profondeur dépasse celle de modèles spécialisés comme MoGe-3, tout en conservant la capacité de génération d'images du modèle original, ce qui convient aux flux de travail 3D et post-production nécessitant des cartes de profondeur
Score de montée 40 · J'aime 40 · Téléchargements 0
Raisons
- AbsRel×100 fourni par les auteurs (plus bas est mieux) : selon le protocole de 7 jeux de données de MoGe-3, la moyenne pour big est de 3.56 et pour small de 3.84, tandis que la réexécution de MoGe-3 par les auteurs donne 3.70 ; selon le protocole Marigold V2, big est à 2.92 et small à 3.11
- Les auteurs affirment que l'estimation de la profondeur à partir de photos prend 4 étapes sur une seule H200 : big prend environ 1.44 / 5.29 secondes aux résolutions 512 / 1024, et small environ 0.52 / 1.92 secondes ; pour la génération d'images à partir de texte en 50 étapes, small prend environ 38.3 secondes à la résolution 1024
- Sorties : profondeur logarithmique relative (.npy), carte de profondeur en couleur et masque de ciel ; la rediffusion à partir d'une carte de profondeur prend en charge trois formats d'entrée : profondeur, parallaxe et couleur
Utilisation
- Après git clone speridlabs/iris-z-sdk, exécutez uv sync (Python 3.10, PyTorch 2.9.1, CUDA 13.0, pilote 580 ou supérieur) ; acceptez d'abord les conditions d'utilisation de FLUX.2-dev sur Hugging Face et exécutez hf auth login (pour lire son autoencodeur)
- Ligne de commande : uv run python -m iris_z.sample depth --image photo.jpg (ajoutez --model small pour utiliser la version small) ; les sous-commandes image, rgbd et paint correspondent respectivement à la génération d'images à partir de texte, à la génération d'images avec profondeur et à la rediffusion à partir d'une carte de profondeur
- Python : IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big") ; pour l'estimation de profondeur seule, ajoutez load_text_encoder=False pour éviter de charger l'encodeur de texte ; pour reproduire les benchmarks, utilisez seeds=range(10) et prenez la médiane pixel par pixel
Risques
- Mémoire GPU : les auteurs indiquent que big nécessite environ 112 GB pour toutes les fonctionnalités et small environ 33 GB ; big ne peut pas fonctionner sur des cartes graphiques personnelles
- Les poids sont sous licence non commerciale FLUX, tandis que le code SDK est sous Apache-2.0 ; il faut également accepter les conditions restrictives de FLUX.2-dev
- Les scores de profondeur proviennent des auteurs selon le protocole de l'article, et certains modèles de comparaison ont été réexécutés par les auteurs ; le dépôt ne mentionne pas la prise en charge de ComfyUI. Cette entrée n'a pas été exécutée