FewStepRL:4ステップ拡散モデルの強化学習によるファインチューニング

拡散モデルを強化学習で後訓練する場合、各エポックで多段サンプリングを用いてサンプルを生成する必要があり、これが主なコスト要因となる。少ステップモデルはこのオーバーヘッドの大部分を削減できるが、それらは区間上の平均速度を学習する一方で、既存の強化学習目的関数は瞬時速度向けに設計されている。FewStepRLは3段階で改造を行う:各種目的関数をx空間へ統一変換し、勾配を参照モデルへの自己回帰項と報酬増強項に分解し、さらに少ステップモデルを用いてアンカーを再計算することで、FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD、ReFLの少ステップ版を得る。著者の結論は以下の通り:報酬が微分可能で勾配計算のコストが低い場合は、報酬勾配を直接利用する手法が最も効果的である。それ以外の場合は、DiffusionNFT系の手法がより少ない反復回数で高い報酬を獲得できる。推論時にステップ数を増やしても、体系的な利点は得られない。

原題:FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning

拡散モデルを強化学習で後訓練する場合、各エポックで多段サンプリングを用いてサンプルを生成する必要があり、これが主なコスト要因となる。少ステップモデルはこのオーバーヘッドの大部分を削減できるが、それらは区間上の平均速度を学習する一方で、既存の強化学習目的関数は瞬時速度向けに設計されている。FewStepRLは3段階で改造を行う:各種目的関数をx空間へ統一変換し、勾配を参照モデルへの自己回帰項と報酬増強項に分解し、さらに少ステップモデルを用いてアンカーを再計算することで、FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD、ReFLの少ステップ版を得る。著者の結論は以下の通り:報酬が微分可能で勾配計算のコストが低い場合は、報酬勾配を直接利用する手法が最も効果的である。それ以外の場合は、DiffusionNFT系の手法がより少ない反復回数で高い報酬を獲得できる。推論時にステップ数を増やしても、体系的な利点は得られない。

なぜ重要か 少ステップモデルは画像生成が高速だが、既存の強化学習手法は多段サンプリング向けに設計されている。統一コードベースにより、4ステップモデルでも嗜好報酬に基づいて継続的な調整が可能になる。

いいね 8 · コードスター数 6

理由

  • 速度が求められる生成シーン向け:4ステップでCFGなしに画像や動画を生成しつつ、美的感覚、テキストと画像の一貫性、文字レンダリングなどの報酬に基づいて継続的に最適化できる
  • コードは複数の手法を「3つのアンカー + 3つの重み」の組み合わせとして統一しており、同一設定下での比較が容易である
  • SD3.5-Medium の画像版および Wan2.1 の動画版について、コードとチェックポイントが公開されている

使い方

  • コード:https://github.com/EDAPINENUT/fewsteprl-sd35(视频版 EDAPINENUT/fewsteprl-wan21);チェックポイント:Hugging Face Delcher/fewsteprl-sd35
  • 依存関係をインストール後、download_scripts/download_assets.sh を実行して SD3.5-M と報酬モデルをダウンロードし、その後 scripts/train/<名称>.sh で訓練、scripts/eval/eval_ckpt.sh で評価を行う

リスク

  • 訓練設定は 8 カード向けに記述されている。SD3.5-Medium を使用するには、事前に Hugging Face でライセンスを受け入れる必要がある
  • OCR精度のみを報酬として使用する場合、報酬の過学習(reward hacking)が発生し、他の指標が低下する可能性があることはREADMEに記載されている
  • DMDAWM の生成結果にはわずかなグリッド状のアーティファクトが見られる。READMEでの展示時にはぼかし処理が施されている。本項目では実行していない

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る