原題：NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
敵対的拡散蒸留では通常、画像特徴量を用いて判別を行います。著者らは、マルチモーダル拡散Transformer（MMDiT）においてテキストトークンと画像トークンが同一の注意機構を共有しており、ネットワークの中層に至るまでにテキストストリームはすでに画像を「読み取っており」、プロンプトに基づいて整理された画像要約のような状態になっていることを指摘しています。NitroFusion2では、テキストストリーム敵対的蒸留（TSAD）を提案し、通常の画像特徴量損失と併用する形で、中間層のテキストトークン状態に敵対的損失を適用します。さらに、側面別プロンプトによる判別（ACD）を導入しています。これは、プロンプトを変更することで、同じ凍結された判別器がそれぞれフォントタイポグラフィ、言及された物体、または画像スタイルに注目するようにするものです。NitroFusionの専門家判別器フレームワーク上で統合した結果、著者らは一般的な4〜8ステップの少ステップ蒸留を1〜2ステップまで削減しつつ、同等の品質を維持できたと述べています。公開されているチェックポイントはZ-Image-Turboに基づいています。
なぜ重要か 少ステップ蒸留を一般的な4〜8ステップから1〜2ステップへと推進し、判別器がテキストストリームを見るという新しいアプローチを提案した点
いいね 7 · コードスター数 15
理由
- 著者らは、1ステップでも鮮明なレンダリング文字と豊かなディテールを生成できると述べており、1ステップ生成が「単なる蒸留の負荷テストではなく、実用的に使える」ことを示しています。2ステップでは評価ベンチマークにおいて依然として競争力があります。
- 再現可能です：重みはHugging FaceのChenDY/NitroFusion2（Apache-2.0）で公開されており、1ステップおよび2ステップのComfyUIワークフローが付属しています。GGUFモデルはnf2-Q2_K_4XS（2.0 GB）からnf2-Q8_0（7.2 GB）まで複数のサイズが選択可能で、diffusers用の推論スクリプトやオンラインデモも提供されています。
- 手法上の結論はMMDiTのテキストストリーム自体にあります。テキストストリームは画像を読み取り、テキスト条件と結合しているため、誘導可能な判別表現として機能し得ます。Hugging Faceでのいいね数7、コードスター数15（注目度を示すのみ）。
使い方
- ComfyUI：リポジトリのworkflows/ディレクトリにあるnitrofusion2_1step.jsonまたはnitrofusion2_2step.jsonを使用します（GGUF版はnitrofusion2_1step_gguf.json / nitrofusion2_2step_gguf.json）。2ステップの場合、著者らはアンチ蒸留LoRA（nf2-dedistill-lora、モデルをZ-Image-Turboに戻すもの）との併用を推奨しています。1ステップ目に強度0.5で適用し、2ステップ目ではNitroFusion2のみを使用することで、一部のアーティファクトを除去します。
- diffusers：python inference.py --prompt "a cat holding a sign that says hello world" --steps 2 --out cat.png（1〜4ステップに対応）；またはChenDY/NitroFusion2のtransformerサブディレクトリからZImageTransformer2DModelを読み込み、Tongyi-MAI/Z-Image-TurboのZImagePipelineに接続します。スケジューラはshift=6.0に設定し、2ステップの場合はsigmas=[1.0, 0.5]、guidance_scale=0.0とします。
リスク
- 要約では「品質は同等」「競争力がある」とのみ述べられており、READMEには評価表が記載されていません。著者らは、2ステップでアンチ蒸留LoRAを使用しない場合、いくつかのアーティファクトが発生することを認めています。
- ベースモデルはZ-Image-Turboであり、使用時にはそのライセンス条件も同時に適用されます。READMEには推論のみが記載されており、訓練コードについては言及されていません。
開く · コード · Hugging Face論文ページ