pi-H3:2〜4ステップで音声付き動画を生成するH3高速化アダプター

スタンフォード大学のHansheng Chen氏ら(一部の作業はLuma AIで実施)が11月12日にアップロードしたMiniMax H3の少ステップ数アダプター。テキストから動画、最初のフレーム、最後のフレーム、および最初と最後のフレームを条件とした生成に対応し、同期音声も同時に生成します。本手法は、pi-Flow v2のデータ不要な少ステップ蒸留と、DWD(Decoding Without a Decoder、論文arXiv 2611.22287)を組み合わせたものです。最終ステップでは、ノイズ除去ネットワークがVAEデコーダーを経由せず直接ピクセルを予測し、VAEは最初と最後のフレームのエンコードにのみ使用されます。アダプターは合計4種類あり、2ステップと4ステップのそれぞれにDWD版とVAEデコード版があります。DWD版にはComfyUI専用のINT8 ConvRotファイルも含まれており、作者はDWD版を推奨しています。

原題:Lakonik/pi-H3

スタンフォード大学のHansheng Chen氏ら(一部の作業はLuma AIで実施)が11月12日にアップロードしたMiniMax H3の少ステップ数アダプター。テキストから動画、最初のフレーム、最後のフレーム、および最初と最後のフレームを条件とした生成に対応し、同期音声も同時に生成します。本手法は、pi-Flow v2のデータ不要な少ステップ蒸留と、DWD(Decoding Without a Decoder、論文arXiv 2611.22287)を組み合わせたものです。最終ステップでは、ノイズ除去ネットワークがVAEデコーダーを経由せず直接ピクセルを予測し、VAEは最初と最後のフレームのエンコードにのみ使用されます。アダプターは合計4種類あり、2ステップと4ステップのそれぞれにDWD版とVAEデコード版があります。DWD版にはComfyUI専用のINT8 ConvRotファイルも含まれており、作者はDWD版を推奨しています。

なぜ重要か H3での同期音声付き動画生成を2〜4ステップに圧縮し、さらに動画デコーダーを省略。作者はComfyUIワークフローとINT8版を提供しており、コンシューマー向けGPUでも試すことが可能

上昇スコア 55 · いいね 75 · ダウンロード数 0

理由

  • 作者がComfyUIドキュメントで示した速度:2ステップのDWD + INT8 + Solスパースアテンションを使用し、RTX 3090(CUDA 13)上で、864×480解像度で5秒の動画を15.5秒、10秒の動画を37.3秒で生成。1344×768解像度では5秒の動画を38.5秒で生成(モデルはロード済み、プロンプトはエンコード済み)
  • コードリポジトリではFP8量子化とSolスパースアテンションが同時に提供されています。Hugging Faceには作者のオンラインデモSpaceがあり、画質と速度の比較は作者のブログで確認できます
  • 4つのアダプターすべてがテキスト、最初のフレーム、最後のフレームの条件に対応しており、2ステップと4ステップの切り替えはパラメータ1つの変更で可能です

使い方

  • ComfyUI:ComfyUI-piFlowノードをインストールし、pi-H3-DWD.jsonをドラッグ&ドロップします。ベースモデルにはComfy-Org/MiniMax-H3のminimax_h3_fl2va_pruned_int8_convrotを使用し、アダプターはmodels/lorasに配置します。pi-H3 Adapterノードで2ステップまたは4ステップを切り替えます
  • diffusers:LakonLab v0.3のpi-H3ドキュメントに従ってインストールし、load_lakonlab_adapterを使用してLakonik/pi-H3のpi_h3_4step_dwd_adapterをロードします。最初のフレームと最後のフレームはimage= / last_image=で渡します
  • オンラインで試す:https://huggingface.co/spaces/Lakonik/pi-H3

リスク

  • アダプターはMiniMax H3の派生モデルであり、MiniMax H3コミュニティライセンスに基づいて配布されています。商用利用前にライセンス条項を確認してください
  • 作者のLakonLabコードまたはComfyUI-piFlowカスタムノードが必要であり、ComfyUIのネイティブ機能ではありません。速度表は作者がgpu-unlockを有効にした3090上で測定したものであり、本記事では実行していません

開く

Hugging Face Trending

最新の AI ニュースを見る