元タイトル:Efficient-Large-Model/Open-H3-Regenerate-2K-IC
Efficient-Large-Model が公開した動画再生成ツール(コードは NVlabs/Sana リポジトリにあります):MiniMax-H3 で生成した 768P のドラフトを参照動画として Ref2VA トランスフォーマーのコンテキストに組み込み、コンテキスト(IC)LoRA を使用して同じセグメントの 1080P、2K(2560×1440)または 4K(3840×2160)バージョンを生成します。ドラフト内の顔、口元、テキスト、レイアウトは保持されます。デフォルトでは、まず潜在空間アップスケーラーでドラフトを拡大し、HyperFlow の 8 ステップグリッドの最後の 3 ステップを実行します。4 ステップを選択したり、ノイズから 8 ステップすべてを実行したりすることも可能で、いずれも CFG は 1 です。リポジトリには推論コード、ダウンロードスクリプト、LoRA マージスクリプトが含まれており、1 つの LoRA しか読み込めない実行環境でも利用しやすいようになっています。
なぜ重要か 低解像度でまずカメラワークを素早く試行し、満足したら高画質の最終版を出力できるため、画面レイアウトや口元が変化しない
上昇スコア 60 · いいね 60 · ダウンロード数 11312
理由
- 「まず低画質で試行錯誤し、その後高画質で出力する」というワークフローに適しています。作者の説明によると、プロンプトはドラフト生成時に使用した元のものをそのまま使えばよく、空欄でも構いません
- リポジトリには HyperFlow の 8 ステップ用 LoRA、LMS Sharp 用シャープニング LoRA、潜在空間アップスケーラー、高速 VAE デコーダーがパッケージ化されており、ダウンロードスクリプトで一括取得できます
使い方
pip install -r infer/requirements.txtを実行した後、python infer/download.py --out weightsで重みをダウンロードし、torchrunを使ってinfer.pyを実行します。--inputでドラフト動画を指定し、--captionに元のプロンプトを入力します--resolutionで 2k(デフォルト)、1080p、または 4k を選択し、--samplerでup3(デフォルト)、up4、またはhf8を選択します。--jobsに jsonl ファイルを渡すことでバッチ処理が可能です
リスク
- サンプルコマンドでは 8 枚の GPU を使用しますが、トランスフォーマーは 1、2、4、7、または 8 枚のカードに分割可能です。単一カードでのメモリ要件については作者から明記されていません
- MiniMax H3 のコミュニティライセンスは EU、英国、韓国、米国をカバーしていません。これは MiniMax の公式製品ではなく、LMS Sharp などのサードパーティコンポーネントには別途利用規約があります
- 本項目は実行検証を行っていないため、効果はプロジェクトページを参照してください