浙江大学 ZIP Lab などの少ステップ自己回帰型ビデオ蒸留手法は、長尺動画において被写体やシーンが画面外に出た後に再び現れた際に「変貌してしまう」という問題に対処する。その手法では、教師モデルが2つの異なるコンテキスト下で同じノイズ付きの学生ブロックを予測させる。両者の違いは、情報を含む履歴の有無のみである（学生モデルのより早期かつドリフトの少ないブロック、またはカメラがシーンを捉え続ける固定視点での教師推論）。この差分を残差として利用し、重み付けして蒸留用のスコア／速度目標に加算した後、学生モデルがこの修正された目標に整合するように学習させる。同一のフレームワークは、60秒の長尺動画生成と「視野外シーン進化」の世界モデルの両方に適用されている。
いいね 5 · コードスター数 27
理由
- 著者によると、1.3B モデルにおいて、15秒動画の VBench 品質スコアは 85.07、60秒の VBench-Long 総合スコアは 79.82 であり、同規模モデルの中で最高性能を達成している。また、視野外の世界モデリングでは、PlayWorld の進化品質が 2.35 → 2.70 に、MemoBench の物体一貫性が 58.43 → 62.18 に向上した。
- リソースが充実している：長尺動画生成器（Wan2.1-T2V-1.3B ベースモデル）、世界モデル（DreamX-World-5B ベースモデル）、および AR 教師の3つのチェックポイント、学習データ、PlayWorld / MemoBench の評価入力がすべて Hugging Face で公開されている。推論・学習・評価コードはリポジトリにあり、ライセンスは Apache-2.0 である。
- 最初に紹介した手法と同様に Wan2.1-1.3B ベースの少ステップ自己回帰アプローチを採用しているが、一方は速度の最適化を、もう一方は長期的な一貫性の解決を目的としており、対照的に読むことができる。
使い方
- 環境：Linux + NVIDIA GPU（CUDA 12.8 互換）、conda で Python 3.12 環境を作成し、torch 2.8.0 をインストールした後、pip install -r requirements.txt を実行する。
- 長尺動画生成：hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir models/Wan2.1-T2V-1.3B および hf download xzxxntxdy/History-Forcing dmd/model.pt --local-dir models/History-Forcing を実行し、その後 bash scripts/long_video/inference.sh --prompt "…" --output-dir output/demo/long_video を実行して 60秒の動画を生成する。
- 世界モデル：Wan2.2-TI2V-5B、GD-ML/DreamX-World-5B、および opsd/model.pt とデータセットをダウンロードし、bash scripts/world_model/run.sh inference --checkpoint models/History-Forcing/opsd/model.pt --num-samples 1 を実行する（入力は最初のフレーム画像、シーンプロンプト、カメラ動作である）。
リスク
- README に VRAM 要件や生成速度が記載されていない。学習には Causal-Forcing の初期化重みと Self-Forcing のプロンプトを別途ダウンロードする必要があり、W&B でログを記録する。
- チェックポイントは Wan2.1 / Wan2.2 および DreamX-World に基づいており、サードパーティコンポーネントにはそれぞれ異なるライセンスがあるが、モデルカードでは個別のライセンスが明示されていない。
- スコアは著者による報告値であり、PlayWorld の進化品質の評価方法は論文本文を確認する必要がある。生成動画を実際に確認していないため、画質については評価しない。
開く · コード · Hugging Face 論文ページ