原題:MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos
ストリーミング動画生成では、学習長を超えた後も品質を維持しつつ、自己生成した履歴と増大し続けるキャッシュを処理する必要がある。MovieRollはまず、ウィンドウ型教師強制(WinTF)を用いて多段ベースモデルを学習する。ウィンドウ内では段階的ノイズによる共同去雑音と双方向アテンションを行い、過去の履歴に対しては因果的アクセスのみを許可する。階層型KVキャッシュ(HieraKV)では、浅い層では全履歴を保持し、深い層では冒頭と直近の断片のみを保持することで、著者によればキャッシュメモリを最大78%削減できる。その後、累積長尺チューニング(CuLT-DMD)により少ステップ生成器へ蒸留し、推論時にはKV再計算でコンテキストを限定する。ベースモデルではAnnealCFGを用いてガイド強度を段階的に低下させる。著者によれば、HeliosBenchにおいて、最長15秒の動画のみで学習したベースモデルは30秒でも競合性を維持し、蒸留モデルは最長60秒の単一イベントおよび複数イベント評価において総合スコアが最高となった。
なぜ重要か ストリーミング生成は後半になるほど崩れやすいが、本手法は学習、蒸留、推論を一つのソリューションに統合しており、テキストから動画、画像から動画の両方の重み付けが公開されている
いいね 10 · コードスター数 53
理由
- 3つの重みを公開:ベースモデル(テキストから動画+画像から動画、50ステップ)およびテキストから動画、画像から動画の2つの蒸留モデル(5ステップ、CFG不要)。いずれもHunyuanVideo-1.5 480pに基づく
- 1つのプロンプトでも、複数のイベントプロンプトを順に与えて同一動画内で順次発生させることも可能
- 初回リリースからSGLang DiffusionおよびvLLM-Omniに対応。リポジトリのagentディレクトリにはプロンプト書き換え、実行、移植などのエージェントスキルが含まれており、コーディングエージェントに直接指示して実行可能
使い方
- コード:https://github.com/Tencent-Hunyuan/MovieRoll(腾讯混元社区许可);权重在抱脸 yunyangge/MovieRoll。アクセス条件への同意とログインによるダウンロードが必要
- 別途、HunyuanVideo-1.5のVAE、Qwen2.5-VL-7B-Instruct、byt5-smallなどのテキストエンコーダが必要。python generate_movieroll.py --model ckpts/movieroll/distilled/t2v --prompt "…" --video-length 721 を実行すると約30秒の動画が生成される。長いプロンプトの方が安定した結果が得られ、同梱のプロンプト書き換えスキルを事前に利用可能
リスク
- 単一GPUでの推論には全パイプラインをVRAMに載せる必要があり(READMEによれば96GBのGPUで可能)、FlashAttention-3(Hopperアーキテクチャ)のインストールが必須。CPUオフロードには未対応で、コンシューマー向けGPUのサポートは計画中
- ライセンスはEU、英国、韓国には適用されない
- 性能値は著者による報告であり、本記事では検証していない