浙大 ZIP Lab 等的少步自回归视频蒸馏方法,针对长视频里主体或场景离开画面再回来就“变样”的问题。做法是让教师在两种上下文下预测同一个带噪的学生块——只差一段有信息的历史(学生更早、漂移更少的块,或镜头一直对着场景的固定视角教师推演),用两者的差作为残差,加权后加到蒸馏用的 score / 速度目标上,再让学生对齐这个修正后的目标。同一框架分别用于 60 秒长视频生成和“视线外场景演化”的世界模型。
点赞 5 · 代码星数 27
理由
- 作者称 1.3B 模型中 15 秒视频 VBench 质量分 85.07、60 秒 VBench-Long 综合 79.82,为同规模最好;视线外世界建模上 PlayWorld 演化质量 2.35 → 2.70、MemoBench 物体一致性 58.43 → 62.18。
- 放得全:长视频生成器(Wan2.1-T2V-1.3B 底座)、世界模型(DreamX-World-5B 底座)和 AR 教师三个检查点、训练数据和 PlayWorld / MemoBench 评测输入都在抱脸,推理、训练、评测代码在仓库,代码 Apache-2.0。
- 与首推同为 Wan2.1-1.3B 少步自回归路线,一个解决速度、一个解决长程一致性,可以对照着读。
用法
- 环境:Linux + NVIDIA GPU(CUDA 12.8 兼容),conda 建 Python 3.12,装 torch 2.8.0 后 pip install -r requirements.txt。
- 长视频:hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir models/Wan2.1-T2V-1.3B 和 hf download xzxxntxdy/History-Forcing dmd/model.pt --local-dir models/History-Forcing,然后 bash scripts/long_video/inference.sh --prompt "…" --output-dir output/demo/long_video 生成 60 秒视频。
- 世界模型:下 Wan2.2-TI2V-5B、GD-ML/DreamX-World-5B 和 opsd/model.pt 以及数据集,bash scripts/world_model/run.sh inference --checkpoint models/History-Forcing/opsd/model.pt --num-samples 1(输入为首帧图、场景提示词和相机动作)。
风险
- README 没写显存需求和生成速度;训练要额外下载 Causal-Forcing 初始化权重和 Self-Forcing 提示词,并用 W&B 记日志。
- 检查点基于 Wan2.1 / Wan2.2 和 DreamX-World,第三方组件各有许可,模型卡没单独标许可证。
- 分数为作者报告,PlayWorld 演化质量的打分方式要看论文正文;没看过生成视频,不评价画面质量。