原題:Lakonik/pi-H3
スタンフォード大学のHansheng Chen氏ら(一部の作業はLuma AIで実施)が11月12日にアップロードしたMiniMax H3の少ステップ数アダプター。テキストから動画、最初のフレーム、最後のフレーム、および最初と最後のフレームを条件とした生成に対応し、同期音声も同時に生成します。本手法は、pi-Flow v2のデータ不要な少ステップ蒸留と、DWD(Decoding Without a Decoder、論文arXiv 2611.22287)を組み合わせたものです。最終ステップでは、ノイズ除去ネットワークがVAEデコーダーを経由せず直接ピクセルを予測し、VAEは最初と最後のフレームのエンコードにのみ使用されます。アダプターは合計4種類あり、2ステップと4ステップのそれぞれにDWD版とVAEデコード版があります。DWD版にはComfyUI専用のINT8 ConvRotファイルも含まれており、作者はDWD版を推奨しています。
なぜ重要か H3での同期音声付き動画生成を2〜4ステップに圧縮し、さらに動画デコーダーを省略。作者はComfyUIワークフローとINT8版を提供しており、コンシューマー向けGPUでも試すことが可能
上昇スコア 55 · いいね 75 · ダウンロード数 0
理由
- 作者がComfyUIドキュメントで示した速度:2ステップのDWD + INT8 + Solスパースアテンションを使用し、RTX 3090(CUDA 13)上で、864×480解像度で5秒の動画を15.5秒、10秒の動画を37.3秒で生成。1344×768解像度では5秒の動画を38.5秒で生成(モデルはロード済み、プロンプトはエンコード済み)
- コードリポジトリではFP8量子化とSolスパースアテンションが同時に提供されています。Hugging Faceには作者のオンラインデモSpaceがあり、画質と速度の比較は作者のブログで確認できます
- 4つのアダプターすべてがテキスト、最初のフレーム、最後のフレームの条件に対応しており、2ステップと4ステップの切り替えはパラメータ1つの変更で可能です
使い方
- ComfyUI:ComfyUI-piFlowノードをインストールし、pi-H3-DWD.jsonをドラッグ&ドロップします。ベースモデルにはComfy-Org/MiniMax-H3のminimax_h3_fl2va_pruned_int8_convrotを使用し、アダプターはmodels/lorasに配置します。pi-H3 Adapterノードで2ステップまたは4ステップを切り替えます
- diffusers:LakonLab v0.3のpi-H3ドキュメントに従ってインストールし、load_lakonlab_adapterを使用してLakonik/pi-H3のpi_h3_4step_dwd_adapterをロードします。最初のフレームと最後のフレームはimage= / last_image=で渡します
- オンラインで試す:https://huggingface.co/spaces/Lakonik/pi-H3
リスク
- アダプターはMiniMax H3の派生モデルであり、MiniMax H3コミュニティライセンスに基づいて配布されています。商用利用前にライセンス条項を確認してください
- 作者のLakonLabコードまたはComfyUI-piFlowカスタムノードが必要であり、ComfyUIのネイティブ機能ではありません。速度表は作者がgpu-unlockを有効にした3090上で測定したものであり、本記事では実行していません