原題：Efficient-Large-Model/Open-H3-Regenerate-2K
NVIDIA（NVlabs Sana / SoL-Engine）が、クローズドソースのH3-Regenerate-2K APIに対するオープンな代替手段を提供しています。MiniMax-H3の768P草稿（1344×768、121フレーム）を潜在空間で2倍に拡大し、MiniMax-H3と統合LoRAを用いて3ステップでノイズ除去を行い、2560×1440の動画を出力します。コードでは1080pや、2回の拡大による4Kへの出力もサポートされています。統合LoRAは、3つのアダプターをランク順に連結して構成されます：Open-H3リファイナー（rank 384）、LightX2V FL2VA Turbo v1.2（rank 128）、LMS Sharp v1.0（rank 64）。著者によると、3つのアダプターを個別に適用する場合と比較して、全312個の線形層における相対誤差は2.2e-8に過ぎないとのことです。リポジトリには、著者の3D畳み込み潜在空間アップスケーラー、StreamRender-H3から蒸留された高速VAEデコーダー（1.62Bパラメータ）、および変更されていないMiniMax-H3ベースモデルのコピーが含まれています。10月26日にリポジトリが作成されましたが、以前の号では取り上げられていません。
上昇スコア 79 · いいね数 223 · ダウンロード数 562558
理由
- 「まず低解像度で高速に動画を生成し、満足したら2Kを出力する」というニーズに対応し、クローズドソースのAPIを有料で呼び出す必要がありません。入力として、H3草稿動画、既存のH3潜在変数、または--hyperflowオプションを使用してプロンプトから768P草稿を生成してからリファインすることも可能です。
- 公式によると、B200 GPU1枚で5秒のクリップを768P潜在変数から2560×1440に変換する場合、元の稠密アテンションBF16では合計87.26秒かかります。Sol-Attnスパースアテンション、MXFP8、CUDA Graphを導入すると37.39秒（2.33倍）に短縮されます。さらに高速VAEデコーダー（デコード時間が15秒から1.6秒に短縮）を使用すると、合計22.45秒（3.89倍）となります。コードのREADMEには、各最適化がどの程度貢献しているかが項目ごとに記載されています。
- 注目度を示す指標として、ダウンロード数562558、いいね数223があります。
使い方
- コードはGitHubのNVlabs/Sanaリポジトリのsol-engineブランチ内、models/Open-H3-Regenerate-2Kにあります。Linux、Python 3.11、PyTorch 2.11 + CUDA 13.0が必要です。まずpip install -r requirements.txtを実行し、続いてpip install -e ../../techniques/sparse_backends（Sol-Attn、高速化には必須）を実行します。python download.py --weights ./weights --hyperflowで全重みをダウンロードします。
- 既存の草稿がある場合：python infer.py --weights ./weights --input-video draft.mp4 --prompt "…" --output out.mp4を実行します。プロンプトのみの場合は--hyperflowを追加します。最速の出力を得るには--fwd sol_engine_fastを使用し、元の出力に最も近い結果を得るにはデフォルトのsol_engineまたは--fwd standardを使用します。--resolutionオプションでは768p / 1080p / 2k / 4kを選択でき、--steps 2を2ステップに変更することも可能です。
- 独自のパイプラインに組み込む際のサンプリング設定：3ステップのEuler法、sigmas [0.909375, 0.857143, 0.666667, 0]、CFG 1。
リスク
- 速度の数値はすべてB200 / GB200環境で測定されたものです。MXFP8やSol-AttnはGPUおよびソフトウェアスタックに特定の要件があります。著者はコンシューマー向けGPUでのデータやComfyUIワークフローを提供していません。
- 新しい潜在変数の形状に初めて遭遇する場合、エンジンの構築とCUDA Graphの記録（約39秒）が必要です。sol_engine_fastはより高速ですが、著者によれば元の出力との細部の差異が大きくなります。
- ライセンスが混在しています。リファイニングLoRA、高速VAE、ベースモデルのコピーはMiniMax H3コミュニティライセンス（地域、用途、再配布に関する条項を含む）に従い、統合されたLightX2V Turbo、LMS Sharp、潜在空間アップスケーラーはそれぞれの元のライセンスに従うため、統一されたライセンスはありません。