原题:NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
对抗扩散蒸馏一般拿图像特征做判别。作者指出,多模态扩散 Transformer(MMDiT)里文本 token 和图像 token 走同一套注意力,到网络中段文本流已经“读过”图像,相当于一份按提示词组织的图像摘要。NitroFusion2 提出文本流对抗蒸馏(TSAD),把对抗损失放在中间层的文本 token 状态上(与常规的图像特征损失并用);再加上按方面提示的判别(ACD):换一个提示,同一个冻结判别器就分别去关注字体排印、提到的物体或画面风格。在 NitroFusion 的专家判别器框架上整合后,作者称把少步数蒸馏从常见的 4–8 步降到 1–2 步而质量相当。发布的检查点基于 Z-Image-Turbo。
为什么重要 把少步数蒸馏从常见的四到八步推到一到两步,并提出让判别器看文本流的新思路
点赞 7 · 代码星数 15
理由
- 作者称一步就能生成清晰的渲染文字和丰富细节,让一步生成“能实际用,而不只是蒸馏的压力测试”;两步在所评基准上仍有竞争力。
- 能照做:权重在抱脸 ChenDY/NitroFusion2(Apache-2.0),附 1 步、2 步 ComfyUI 工作流,GGUF 从 nf2-Q2_K_4XS(2.0 GB)到 nf2-Q8_0(7.2 GB)多档可选,另有 diffusers 推理脚本和在线 Demo。
- 方法上的结论落在 MMDiT 文本流本身——它读过图像、又绑定文本条件,可以当作可引导的判别表征;抱脸点赞 7、代码星数 15(只代表关注度)。
用法
- ComfyUI:用仓库 workflows/ 里的 nitrofusion2_1step.json 或 nitrofusion2_2step.json(GGUF 版是 nitrofusion2_1step_gguf.json / nitrofusion2_2step_gguf.json);两步时作者推荐配合反蒸馏 LoRA(nf2-dedistill-lora,把模型拉回 Z-Image-Turbo),第一步以 0.5 强度挂上、第二步只用 NitroFusion2,用来去掉部分瑕疵。
- diffusers:python inference.py --prompt "a cat holding a sign that says hello world" --steps 2 --out cat.png(支持 1–4 步);或从 ChenDY/NitroFusion2 的 transformer 子目录加载 ZImageTransformer2DModel,接到 Tongyi-MAI/Z-Image-Turbo 的 ZImagePipeline,scheduler 设 shift=6.0,两步用 sigmas=[1.0, 0.5]、guidance_scale=0.0。
风险
- 摘要只说“质量相当”“有竞争力”,README 没有列评测表;作者承认两步不加反蒸馏 LoRA 会有一些瑕疵。
- 底模是 Z-Image-Turbo,使用时同时受其许可约束;README 只给了推理,没有提训练代码。