原題:Restoring Diversity in Distilled Image and Video Generators by Probing Activations
拡散モデルを少ステップの学生モデルに蒸留するとサンプリング遅延を大幅に低減できますが、異なるランダムシードで生成した結果の差異は小さくなります。著者は教師モデルと学生モデルの内部活性化を比較し、学生モデルの活性化の全分散は教師モデルと同等であるものの、はるかに少ない方向に集中しており、崩壊は最初のノイズ除去ステップの中間モジュールのいずれかで発生することを発見しました。ReDiverseには2つの補正方法があります。ReDiverse-FTは軽量アダプターを訓練し、学生モデルがこのモジュールでの活性化を教師モデルに回帰させます。ReDiverse-TFは訓練を行わず、推論時に事前に計算された教師モデルの主方向に沿って活性化を調整します。著者は、画像および動画の蒸留ベンチマークにおいて、生成品質を維持しながら多様性を回復したと主張しており、ユーザー調査でもこの結論が支持されています。
なぜ重要か 4ステップでの画像・動画生成は高速ですが、シードを変えても画面はほぼ同じです。この手法はステップ数を増やさずに多様性を取り戻すもので、SDXL、Wan、MiniMax H3 には既存のアダプターがあります
いいね 2 · コードのスター数 2
理由
- SDXL(DMD2)、SD3(TDM)、Wan 2.1(lightx2v)、MiniMax-H3(Turbo)の4組の教師/学生モデルをカバーし、さらにPika H3 Flex用のアダプターも公開しています
- アダプターは最初のステップでのみ有効なLoRAです。訓練不要版は重みを変更せず、両者を組み合わせて使用できます
- 活性化プローブツールが付属しており、特定の蒸留モデルがどのモジュールから崩壊を開始するかを自分でテストできます
使い方
- コード:https://github.com/H-furkan/rediverse(Apache-2.0);适配器在抱脸 ReDiverseアカウント、生成スクリプトの初回実行時に自動ダウンロードされます
- 異なるバックボーンモデルごとに環境を構築し、python -m wan.generate --arm rediverse --prompt "…" --num-samples 4 のようなコマンドで生成します。--armオプションには teacher、student、rediverse_ft、rediverse_tf、rediverse を選択して比較できます
リスク
- アダプターはベースモデルのライセンスを継承します。SDXL版はCC BY-NC-SA 4.0 およびOpen RAIL++-Mの制限を受け、MiniMax-H3およびPika H3 Flex版はMiniMax H3コミュニティライセンスの制約を受け、適用地域はEU、英国、韓国、米国を除きます
- 訓練不要版では、各プロンプトに対して教師モデルの方向を推定する必要があり、動画モデルでは時間がかかります(READMEによるとMiniMax-H3で約1 GPU時間)。著者の実験ではすべて80GB H100を使用しています
- 性能は著者による報告値です。本項目では実行していません
開く · コード · 顔面を覆う論文ページ