拡散動画モデルにおける長時間生成時のカメラ自己運動（ego-motion）の漸進的なドリフト問題を解決する。まず線形プローブと因果的介入を用いて、Wan2.2 のどの層およびどのノイズ除去段階がカメラ運動をエンコードしているかを特定する（著者はノイズ除去に伴い上昇してから下降することを発見した）。次に、これらの層の表現を、3D 基盤モデルが提供する「フレーム間変化」表現に整合させ、選択された層とタイムステップのみで LoRA を訓練する。
いいね 13 · コードスター数 7
理由
- 著者によると、DL3DV と RealEstate10K で Wan2.2 をファインチューニングした後、運動精度、幾何学的整合性、時間的滑らかさがすべて向上し、幾何学的整合性はベースモデルと比較して 20% 以上改善され、画質は維持された。
- 具身タスクへの転移が可能：ファインチューニング後の動画モデルを世界動作モデルとして使用し、RoboCasa365 の移動操作タスクにおいて成功率が 10 ポイント向上した（著者報告）。
- リポジトリは完全な3段階の訓練実装であり、層番号、タイムステップ、LoRA ランクなどの設定は公開設定ファイルにハードコードされており、整合性検証スクリプトも含まれている。
使い方
- コード：github.com/PKU-VaLuE-Lab/CausalAlign（Apache-2.0）、Python 3.10/3.11、PyTorch 2.4+、CUDA 12.x、pip install -e '.[wan,test]'。さらに Wan-AI/Wan2.2-I2V-A14B-Diffusers、LingBot-Map チェックポイント、および DL3DV / RealEstate10K データが必要。
- 手順：tools/prepare_data.py でマニフェストを作成 → 教師特徴を抽出し Wan 入力をキャッシュ → torchrun で stage1 / stage2 / stage3 を順次実行 → tools/export_lora.py でマージ済みモデルをエクスポート。本格的な実行前に tools/validate_release.py で設定とデータを確認すること。
- 具身拡張実験は wam/ ディレクトリにあり、Wan2.2-TI2V-5B を使用しているため、デフォルトの A14B 成果物とは互換性がない。
リスク
- 訓練済み LoRA は公開されていないため、使用するには自分で訓練する必要がある。README の訓練コマンドは単一マシン 8 カード向けに記述されており、事前に教師特徴の抽出が必要で、計算リソースのハードルが高い。
- 実装は Wan2.2 のみで行われており、データセットは各自で申請・ダウンロードする必要がある。数値はすべて著者による報告であり、デモ動画を確認していないため、画質については評価しない。