Iris-Z : modèle fine-tuné FLUX.2 générant simultanément des images et des cartes de profondeur

Modèle génératif uploadé par speridlabs le 4 11, fine-tuné à partir de FLUX.2-dev et FLUX.2-klein-base-9B. Les mêmes poids permettent la génération d'images à partir de texte, la génération d'images avec sortie de profondeur simultanée, l'estimation de la profondeur à partir de photos et la génération de nouvelles images à partir de cartes de profondeur. Disponible en deux versions, Iris-Z-big (32.2B) et Iris-Z-small (9.1B), avec prise en charge des résolutions 512 et 1024 ; l'article est disponible sur arXiv 2611.16010.

Titre original : speridlabs/iris-z

Modèle génératif uploadé par speridlabs le 4 11, fine-tuné à partir de FLUX.2-dev et FLUX.2-klein-base-9B. Les mêmes poids permettent la génération d'images à partir de texte, la génération d'images avec sortie de profondeur simultanée, l'estimation de la profondeur à partir de photos et la génération de nouvelles images à partir de cartes de profondeur. Disponible en deux versions, Iris-Z-big (32.2B) et Iris-Z-small (9.1B), avec prise en charge des résolutions 512 et 1024 ; l'article est disponible sur arXiv 2611.16010.

Pourquoi c'est important Les auteurs affirment que la précision de l'estimation de la profondeur dépasse celle de modèles spécialisés comme MoGe-3, tout en conservant la capacité de génération d'images du modèle original, ce qui convient aux flux de travail 3D et post-production nécessitant des cartes de profondeur

Score de montée 40 · J'aime 40 · Téléchargements 0

Raisons

  • AbsRel×100 fourni par les auteurs (plus bas est mieux) : selon le protocole de 7 jeux de données de MoGe-3, la moyenne pour big est de 3.56 et pour small de 3.84, tandis que la réexécution de MoGe-3 par les auteurs donne 3.70 ; selon le protocole Marigold V2, big est à 2.92 et small à 3.11
  • Les auteurs affirment que l'estimation de la profondeur à partir de photos prend 4 étapes sur une seule H200 : big prend environ 1.44 / 5.29 secondes aux résolutions 512 / 1024, et small environ 0.52 / 1.92 secondes ; pour la génération d'images à partir de texte en 50 étapes, small prend environ 38.3 secondes à la résolution 1024
  • Sorties : profondeur logarithmique relative (.npy), carte de profondeur en couleur et masque de ciel ; la rediffusion à partir d'une carte de profondeur prend en charge trois formats d'entrée : profondeur, parallaxe et couleur

Utilisation

  • Après git clone speridlabs/iris-z-sdk, exécutez uv sync (Python 3.10, PyTorch 2.9.1, CUDA 13.0, pilote 580 ou supérieur) ; acceptez d'abord les conditions d'utilisation de FLUX.2-dev sur Hugging Face et exécutez hf auth login (pour lire son autoencodeur)
  • Ligne de commande : uv run python -m iris_z.sample depth --image photo.jpg (ajoutez --model small pour utiliser la version small) ; les sous-commandes image, rgbd et paint correspondent respectivement à la génération d'images à partir de texte, à la génération d'images avec profondeur et à la rediffusion à partir d'une carte de profondeur
  • Python : IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big") ; pour l'estimation de profondeur seule, ajoutez load_text_encoder=False pour éviter de charger l'encodeur de texte ; pour reproduire les benchmarks, utilisez seeds=range(10) et prenez la médiane pixel par pixel

Risques

  • Mémoire GPU : les auteurs indiquent que big nécessite environ 112 GB pour toutes les fonctionnalités et small environ 33 GB ; big ne peut pas fonctionner sur des cartes graphiques personnelles
  • Les poids sont sous licence non commerciale FLUX, tandis que le code SDK est sous Apache-2.0 ; il faut également accepter les conditions restrictives de FLUX.2-dev
  • Les scores de profondeur proviennent des auteurs selon le protocole de l'article, et certains modèles de comparaison ont été réexécutés par les auteurs ; le dépôt ne mentionne pas la prise en charge de ComfyUI. Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA