原题:PanDWM: Panoramic 4D Driving World Models
驾驶世界模型通常生成六路针孔相机视频,要学着保持各视角一致。PanDWM 把它们拼成一条 360° 全景带(分成两段重叠的半幅,让每条相机边界都落在一张图里),以 3D 框和高精地图为条件按窗口因果生成:每个窗口 3 帧历史、16 帧目标,四步学生模型从 50 步因果教师蒸馏而来,并在自己生成的历史上训练。之后前馈解码器沿相机光线把每帧抬升成 3D 高斯,再加入相邻帧的静态高斯补成 4D 场景。作者称在 nuScenes 上 FID、FVD 都低于多相机基线,速度是它们的 8–46 倍。
为什么重要 多相机视角一致变成单张图保持连续的问题;作者称四步模型比多相机基线更快、画质指标更好,权重已放出
点赞 1 · 代码星数 5
理由
- 作者称学生模型保持了教师的 FID(10.1 对 9.93),FVD-1 从 47.7 降到 37.4,每帧 1.96 秒,教师要 33.7 秒
- 放出四步视频学生、高斯解码器、渲染修复器三份权重,以及复现每张表的脚本
- 生成的场景可横向平移 ±1、±2、±4 米重新渲染,渲染修复器给偏移视角去噪
用法
- 代码:https://github.com/AIGeeksGroup/PanDWM(基于 OpenDWM,MIT);权重在抱脸 AIGeeksGroup/PanDWM,另需 Stable Diffusion 3.5 Medium 的 VAE 和文本编码器
- 数据用 nuScenes 的预处理全景版;用 scripts/tests_gen.sbatch(CKPT 指向 pandwm_video_v84i4250_ema.pth)生成测试片段,long_video_testl.sbatch 生成长视频
风险
- 代码是作者 SLURM 集群上的原样快照,路径要手动替换、脚本按 sbatch 提交;评测用的一个索引文件还没公布下载位置,第一阶段教师检查点未放出
- 权重遵循 Stability AI 社区许可;只在 nuScenes 上训练和评测。本条未运行