解决扩散视频模型长时间生成时镜头自身运动(ego-motion)逐渐漂移的问题:先用线性探针和因果干预找出 Wan2.2 里哪些层、哪些去噪阶段在编码镜头运动(作者发现随去噪先升后降),再把这些层的表示对齐到一个 3D 基础模型给出的“帧间变化”表示上,只在选中的层和时间步训练 LoRA。
点赞 13 · 代码星数 7
理由
- 作者称在 DL3DV 和 RealEstate10K 上微调 Wan2.2 后,运动精度、几何一致性和时间平滑度都有提升,几何一致性相对基座提高 20% 以上,画面质量保持不变。
- 能迁移到具身任务:用微调后的视频模型做世界动作模型,在 RoboCasa365 的移动操作任务上成功率提高 10 个百分点(作者称)。
- 仓库是完整的三阶段训练实现,层号、时间步、LoRA 秩等配方写死在发布配置里,并带一致性校验脚本。
用法
- 代码:github.com/PKU-VaLuE-Lab/CausalAlign(Apache-2.0),Python 3.10/3.11、PyTorch 2.4+、CUDA 12.x,pip install -e '.[wan,test]';另需 Wan-AI/Wan2.2-I2V-A14B-Diffusers、LingBot-Map 检查点以及 DL3DV / RealEstate10K 数据。
- 流程:tools/prepare_data.py 建清单 → 抽取教师特征并缓存 Wan 输入 → torchrun 依次跑 stage1 / stage2 / stage3 → tools/export_lora.py 导出合并后的模型;正式开跑前先用 tools/validate_release.py 检查配置和数据。
- 具身扩展实验在 wam/ 目录,用的是 Wan2.2-TI2V-5B,与默认的 A14B 产物不通用。
风险
- 没有放出训练好的 LoRA,想用必须自己训练;README 的训练命令按单机 8 卡写,还要先抽取教师特征,算力门槛高。
- 只在 Wan2.2 上做了实现,数据集需自行申请下载;数字均为作者报告,没看过演示视频,不评价画面质量。