Titre original : NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
La distillation par diffusion adversariale utilise généralement les caractéristiques de l'image pour la discrimination. Les auteurs soulignent que dans les Transformers de diffusion multimodale (MMDiT), les tokens textuels et les tokens d'image partagent le même mécanisme d'attention ; au milieu du réseau, le flux textuel a déjà « lu » l'image, ce qui équivaut à un résumé de l'image organisé selon la consigne. NitroFusion2 propose la distillation adversariale du flux textuel (TSAD), appliquant la perte adversariale aux états des tokens textuels des couches intermédiaires (en complément de la perte classique sur les caractéristiques de l'image) ; il ajoute également une discrimination guidée par aspect (ACD) : en changeant de consigne, le même discriminateur gelé se concentre respectivement sur la typographie, les objets mentionnés ou le style visuel. Intégrés dans le cadre des discriminateurs experts de NitroFusion, les auteurs affirment avoir réduit la distillation à faible nombre d'étapes des 4–8 étapes habituelles à 1–2 étapes tout en maintenant une qualité comparable. Les points de contrôle publiés sont basés sur Z-Image-Turbo.
Pourquoi c'est important Pousser la distillation à faible nombre d'étapes des quatre à huit étapes habituelles à une ou deux étapes, et proposer une nouvelle approche permettant au discriminateur d'examiner le flux textuel
J'aime 7 · Étoiles du code 15
Raisons
- Les auteurs affirment qu'une seule étape suffit pour générer un texte rendu net et des détails riches, rendant la génération en une étape « réellement utilisable, et non pas seulement un test de contrainte de distillation » ; deux étapes restent compétitives sur les benchmarks évalués.
- Facile à reproduire : les poids sont disponibles sur Hugging Face ChenDY/NitroFusion2 (Apache-2.0), accompagnés de workflows ComfyUI pour 1 et 2 étapes, ainsi que plusieurs variantes GGUF allant de nf2-Q2_K_4XS (2.0 Go) à nf2-Q8_0 (7.2 Go), sans oublier un script d'inférence diffusers et une démo en ligne.
- La conclusion méthodologique porte sur le flux textuel des MMDiT lui-même — ayant « lu » l'image et étant lié aux conditions textuelles, il peut servir de représentation discriminante guidable ; les likes Hugging Face 7 et les étoiles du code 15 (représentant uniquement le niveau d'attention).
Utilisation
- ComfyUI : utilisez nitrofusion2_1step.json ou nitrofusion2_2step.json dans le dossier workflows/ du dépôt (les versions GGUF sont nitrofusion2_1step_gguf.json / nitrofusion2_2step_gguf.json) ; pour deux étapes, les auteurs recommandent d'utiliser le LoRA anti-distillation (nf2-dedistill-lora, qui ramène le modèle vers Z-Image-Turbo), appliqué avec une intensité de 0.5 à la première étape et désactivé à la seconde où seul NitroFusion2 est utilisé, afin d'éliminer certains artefacts.
- diffusers : python inference.py --prompt "a cat holding a sign that says hello world" --steps 2 --out cat.png (prend en charge les étapes de 1 à 4) ; ou chargez ZImageTransformer2DModel depuis le sous-répertoire transformer de ChenDY/NitroFusion2, connectez-le au ZImagePipeline de Tongyi-MAI/Z-Image-Turbo, définissez le scheduler avec shift=6.0, et pour deux étapes utilisez sigmas=[1.0, 0.5] et guidance_scale=0.0.
Risques
- Le résumé indique seulement une qualité « comparable » et des performances « compétitives », mais le README ne fournit pas de tableaux d'évaluation ; les auteurs admettent que deux étapes sans le LoRA anti-distillation peuvent présenter quelques artefacts.
- Le modèle de base est Z-Image-Turbo, dont la licence s'applique également lors de l'utilisation ; le README ne fournit que l'inférence, sans mentionner le code d'entraînement.