PanDWM: Mô hình thế giới lái xe tạo ra dải toàn cảnh

Các mô hình thế giới lái xe thường tạo ra video từ sáu camera ống kính pinhole, đòi hỏi phải học cách duy trì sự nhất quán giữa các góc nhìn. PanDWM ghép chúng thành một dải toàn cảnh 360° (chia thành hai nửa chồng lấn, sao cho mỗi ranh giới camera đều nằm trong một hình ảnh), và sinh ra theo cơ chế nhân quả theo cửa sổ với điều kiện là các hộp khung hình 3D và bản đồ độ chính xác cao: mỗi cửa sổ gồm 3 khung hình lịch sử và 16 khung hình mục tiêu; mô hình học sinh bốn bước được chưng cất từ mô hình giáo viên nhân quả 50 bước, và được huấn luyện trên chính lịch sử do nó tạo ra. Sau đó, bộ giải mã feed-forward nâng mỗi khung hình thành các Gaussian 3D dọc theo tia sáng của camera, rồi bổ sung thêm các Gaussian tĩnh từ các khung hình lân cận để hoàn thiện cảnh quan 4D. Các tác giả tuyên bố rằng trên tập dữ liệu nuScenes, cả FID và FVD đều thấp hơn so với các baseline đa camera, với tốc độ nhanh gấp 8–46 lần.

Tiêu đề gốc: PanDWM: Mô hình thế giới lái xe toàn cảnh 4D

Các mô hình thế giới lái xe thường tạo ra video từ sáu camera ống kính pinhole, đòi hỏi phải học cách duy trì sự nhất quán giữa các góc nhìn. PanDWM ghép chúng thành một dải toàn cảnh 360° (chia thành hai nửa chồng lấn, sao cho mỗi ranh giới camera đều nằm trong một hình ảnh), và sinh ra theo cơ chế nhân quả theo cửa sổ với điều kiện là các hộp khung hình 3D và bản đồ độ chính xác cao: mỗi cửa sổ gồm 3 khung hình lịch sử và 16 khung hình mục tiêu; mô hình học sinh bốn bước được chưng cất từ mô hình giáo viên nhân quả 50 bước, và được huấn luyện trên chính lịch sử do nó tạo ra. Sau đó, bộ giải mã feed-forward nâng mỗi khung hình thành các Gaussian 3D dọc theo tia sáng của camera, rồi bổ sung thêm các Gaussian tĩnh từ các khung hình lân cận để hoàn thiện cảnh quan 4D. Các tác giả tuyên bố rằng trên tập dữ liệu nuScenes, cả FID và FVD đều thấp hơn so với các baseline đa camera, với tốc độ nhanh gấp 8–46 lần.

Tại sao quan trọng Sự nhất quán đa camera trở thành bài toán duy trì tính liên tục trong một hình ảnh đơn lẻ; các tác giả tuyên bố rằng mô hình bốn bước nhanh hơn và có chỉ số chất lượng hình ảnh tốt hơn so với các baseline đa camera, và trọng số đã được công khai

Thích 1 · Số sao mã nguồn 5

Lý do

  • Các tác giả tuyên bố rằng mô hình học sinh duy trì FID của giáo viên (10.1 so với 9.93), FVD-1 giảm từ 47.7 xuống 37.4, mỗi khung hình mất 1.96 giây, trong khi giáo viên cần 33.7 giây
  • Công bố ba bộ trọng số: mô hình học sinh video bốn bước, bộ giải mã Gaussian và bộ sửa lỗi kết xuất, cùng với các script để tái tạo từng bảng kết quả
  • Các cảnh quan được tạo ra có thể được kết xuất lại bằng cách dịch chuyển ngang ±1, ±2 và ±4 mét; bộ sửa lỗi kết xuất khử nhiễu cho các góc nhìn bị lệch

Cách sử dụng

  • Mã nguồn: https://github.com/AIGeeksGroup/PanDWM(基于 OpenDWM, giấy phép MIT); trọng số nằm trên Hugging Face tại AGeeksGroup/PanDWM, ngoài ra cần VAE và bộ mã hóa văn bản của Stable Diffusion 3.5 Medium
  • Dữ liệu sử dụng phiên bản toàn cảnh đã được tiền xử lý từ nuScenes; dùng scripts/tests_gen.sbatch (với CKPT trỏ tới pandwm_video_v84i4250_ema.pth) để tạo các đoạn video thử nghiệm, và long_video_testl.sbatch để tạo video dài

Rủi ro

  • Mã nguồn là bản chụp nhanh nguyên trạng từ cụm SLURM của tác giả, cần thay thế thủ công các đường dẫn và gửi script qua sbatch; một tệp chỉ mục dùng cho việc đánh giá vẫn chưa được công bố vị trí tải xuống, và điểm kiểm tra (checkpoint) của giai đoạn giáo viên đầu tiên chưa được công bố
  • Trọng số tuân theo giấy phép cộng đồng của Stability AI; chỉ được huấn luyện và đánh giá trên nuScenes. Bài viết này chưa chạy thử nghiệm

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất