Оригинальное название: NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
Обычно при адверсариальном дистиллировании диффузионных моделей дискриминатор работает с признаками изображений. Авторы отмечают, что в мультимодальных диффузионных трансформерах (MMDiT) текстовые и визуальные токены проходят через один и тот же механизм внимания, поэтому к середине сети текстовый поток уже «прочитал» изображение, представляя собой своего рода резюме изображения, структурированное по промпту. NitroFusion2 предлагает адверсариальную дистилляцию текстового потока (TSAD), помещая адверсариальную функцию потерь на состояние текстовых токенов в промежуточных слоях (в дополнение к обычным потерям по признакам изображений); также добавляется дискриминация с указанием аспекта (ACD): при смене промпта один и тот же замороженный дискриминатор фокусируется на типографике, упомянутых объектах или стиле изображения. После интеграции в фреймворк экспертных дискриминаторов NitroFusion авторы заявляют, что удалось снизить количество шагов при дистилляции с обычных 4–8 до 1–2 без потери качества. Выпущенные чекпоинты основаны на Z-Image-Turbo.
Почему это важно Сдвиг дистилляции с малым числом шагов с обычных четырех-восьми до одного-двух, а также новая идея заставить дискриминатор анализировать текстовый поток
Лайков 7 · Звезд на GitHub 15
Причины
- Авторы утверждают, что уже за один шаг можно генерировать четкий отрендеренный текст и богатые детали, делая одношаговую генерацию «практически применимой, а не просто стресс-тестом для дистилляции»; двухшаговая генерация также остается конкурентоспособной на оцениваемых бенчмарках.
- Можно воспроизвести: веса доступны на Hugging Face в репозитории ChenDY/NitroFusion2 (лицензия Apache-2.0), приложены рабочие процессы ComfyUI для 1 и 2 шагов, а также несколько вариантов GGUF-моделей от nf2-Q2_K_4XS (2.0 ГБ) до nf2-Q8_0 (7.2 ГБ); кроме того, доступны скрипты инференса для diffusers и онлайн-демо.
- Методологический вывод касается самого текстового потока MMDiT: он «прочитал» изображение и привязан к текстовому условию, что позволяет использовать его как управляемое дискриминативное представление; количество лайков на Hugging Face 7 и звезд на GitHub 15 (отражают только уровень внимания).
Использование
- ComfyUI: используйте файлы nitrofusion2_1step.json или nitrofusion2_2step.json из папки workflows/ в репозитории (для версий GGUF — nitrofusion2_1step_gguf.json / nitrofusion2_2step_gguf.json); при двух шагах авторы рекомендуют использовать LoRA против дистилляции (nf2-dedistill-lora, возвращающий модель к Z-Image-Turbo): на первом шаге подключите его с интенсивностью 0.5, а на втором используйте только NitroFusion2, чтобы устранить некоторые артефакты.
- diffusers: python inference.py --prompt "a cat holding a sign that says hello world" --steps 2 --out cat.png (поддерживается 1–4 шагов); либо загрузите ZImageTransformer2DModel из поддиректории transformer репозитория ChenDY/NitroFusion2 и подключите его к ZImagePipeline из Tongyi-MAI/Z-Image-Turbo, установив для scheduler shift=6.0, а для двух шагов используйте sigmas=[1.0, 0.5] и guidance_scale=0.0.
Риски
- В аннотации говорится лишь о «сопоставимом качестве» и «конкурентоспособности», в README нет таблиц с результатами оценки; авторы признают, что при двух шагах без LoRA против дистилляции могут возникать некоторые артефакты.
- Базовая модель — Z-Image-Turbo, поэтому при использовании также действуют ограничения ее лицензии; в README предоставлен только код инференса, код обучения не упоминается.