Titre original : PanDWM: Panoramic 4D Driving World Models
Les modèles du monde de conduite génèrent généralement des vidéos provenant de six caméras à objectif pinhole et doivent apprendre à maintenir la cohérence entre les différents points de vue. PanDWM les assemble en une bande panoramique de 360° (divisée en deux demi-images chevauchantes, de sorte que chaque limite de caméra tombe dans une seule image), générée de manière causale par fenêtre, conditionnée par des boîtes 3D et des cartes haute précision : chaque fenêtre comprend 3 images d'historique et 16 images cibles, le modèle étudiant à quatre étapes étant distillé à partir d'un enseignant causal à 50 étapes et entraîné sur son propre historique généré. Ensuite, un décodeur feed-forward élève chaque image en gaussiennes 3D le long des rayons des caméras, puis ajoute les gaussiennes statiques des images adjacentes pour compléter une scène 4D. Les auteurs affirment que sur nuScenes, les métriques FID et FVD sont inférieures à celles des lignes de base multi-caméras, avec une vitesse 8 à 46 fois supérieure.
Pourquoi c'est important La cohérence des points de vue multi-caméras devient un problème de continuité au sein d'une seule image ; les auteurs affirment que le modèle à quatre étapes est plus rapide que les lignes de base multi-caméras et offre de meilleures métriques de qualité d'image, les poids étant déjà publiés
J'aime 1 · Étoiles du code 5
Raisons
- Les auteurs affirment que le modèle étudiant maintient le FID de l'enseignant (10.1 contre 9.93), le FVD-1 passe de 47.7 à 37.4, chaque image prend 1.96 secondes, contre 33.7 secondes pour l'enseignant
- Publication de trois jeux de poids : l'étudiant vidéo à quatre étapes, le décodeur gaussien et le réparateur de rendu, ainsi que des scripts pour reproduire chaque tableau
- Les scènes générées peuvent être rendues à nouveau avec des translations latérales de ±1, ±2 et ±4 mètres, le réparateur de rendu débruitant les points de vue décalés
Utilisation
- Code : https://github.com/AIGeeksGroup/PanDWM(基于 OpenDWM, MIT) ; les poids sont sur Hugging Face AIGeeksGroup/PanDWM, nécessitant également le VAE et l'encodeur de texte de Stable Diffusion 3.5 Medium
- Les données utilisent la version panoramique prétraitée de nuScenes ; utilisez scripts/tests_gen.sbatch (CKPT pointant vers pandwm_video_v84i4250_ema.pth) pour générer des clips de test, et long_video_testl.sbatch pour générer des vidéos longues
Risques
- Le code est un instantané brut du cluster SLURM des auteurs, les chemins doivent être remplacés manuellement et les scripts soumis via sbatch ; un fichier d'index utilisé pour l'évaluation n'a pas encore de lieu de téléchargement publié, et le point de contrôle de l'enseignant de la première étape n'est pas disponible
- Les poids suivent la licence communautaire de Stability AI ; l'entraînement et l'évaluation ne sont effectués que sur nuScenes. Cet article n'a pas été exécuté