원제: PanDWM: Panoramic 4D Driving World Models
주행 세계 모델은 일반적으로 6개의 핀홀 카메라 영상을 생성하며, 각 시점 간 일관성을 유지해야 합니다. PanDWM은 이를 하나의 360° 파노라마 밴드로 결합합니다(두 개의 겹치는 반절로 나누어 각 카메라 경계가 하나의 이미지 내에 포함되도록 함). 3D 바운딩 박스와 고정밀 지도를 조건으로 창(window) 단위 인과적 생성을 수행합니다: 각 창은 3 프레임의 과거 데이터와 16 프레임의 타겟 데이터를 포함하며, 4단계 학생 모델은 50단계 인과적 교사 모델로부터 증류(distillation)되어 학습되었고, 자체 생성된 과거 데이터 위에서 학습됩니다. 이후 피드포워드 디코더는 카메라 광선을 따라 각 프레임을 3D 가우시안으로 상승시키고, 인접 프레임의 정적 가우시안을 추가하여 4D 장면을 완성합니다. 저자들은 nuScenes 데이터셋에서 FID 및 FVD 점수가 멀티 카메라 베이스라인보다 낮으며, 속도는 그보다 8–46배 빠르다고 보고했습니다.
왜 중요한가 멀티 카메라 시점 일관성 문제가 단일 이미지 내 연속성 유지 문제로 전환되었습니다. 저자들은 4단계 모델이 멀티 카메라 베이스라인보다 더 빠르고 화질 지표가 우수하며, 가중치가 공개되었다고 주장합니다
좋아요 1 · 코드 스타 수 5
이유
- 저자들은 학생 모델이 교사의 FID를 유지했다고 주장합니다(10.1 대 9.93). FVD-1은 47.7에서 37.4로 감소했으며, 프레임당 처리 시간은 1.96초로, 교사의 33.7초보다 빠릅니다
- 4단계 영상 학생 모델, 가우시안 디코더, 렌더링 복원기(repairer) 등 세 가지 가중치와 모든 표를 재현하는 스크립트를 공개했습니다
- 생성된 장면은 수평 방향으로 ±1, ±2, ±4 미터만큼 이동하여 재렌더링할 수 있으며, 렌더링 복원기는 오프셋된 시점을 디노이징(denoising)합니다
사용법
- 코드: https://github.com/AIGeeksGroup/PanDWM(基于 OpenDWM, MIT 라이선스); 가중치는 Hugging Face의 AGeeksGroup/PanDWM에 있으며, Stable Diffusion 3.5 Medium의 VAE 및 텍스트 인코더가 추가로 필요합니다
- 데이터는 nuScenes의 사전 처리된 파노라마 버전을 사용합니다. scripts/tests_gen.sbatch(CKPT는 pandwm_video_v84i4250_ema.pth를 가리킴)를 사용하여 테스트 클립을 생성하고, long_video_testl.sbatch를 사용하여 긴 영상을 생성합니다
리스크
- 코드는 저자의 SLURM 클러스터에서 그대로 스냅샷된 것으로, 경로를 수동으로 교체해야 하며 스크립트는 sbatch로 제출해야 합니다. 평가에 사용된 인덱스 파일 중 하나의 다운로드 위치는 아직 공개되지 않았으며, 1단계 교사 체크포인트는 공개되지 않았습니다
- 가중치는 Stability AI 커뮤니티 라이선스를 따릅니다. 오직 nuScenes에서만 학습 및 평가되었습니다. 본 항목은 실행되지 않았습니다
열기 · 코드 · Hugging Face 논문 페이지