Résolution du problème de dérive progressive du mouvement égocentrique (ego-motion) lors de la génération vidéo longue durée par des modèles de diffusion : les auteurs utilisent d'abord des sondes linéaires et des interventions causales pour identifier quelles couches et quelles étapes de débruitage encodent le mouvement de la caméra dans Wan2.2 (ils constatent que cette information augmente puis diminue au fil du débruitage), puis alignent les représentations de ces couches sur une représentation des « changements inter-images » fournie par un modèle fondamental 3D, en entraînant des LoRA uniquement sur les couches et les pas de temps sélectionnés.
J'aime 13 · Étoiles du code 7
Raisons
- Les auteurs affirment qu'après le fine-tuning de Wan2.2 sur DL3DV et RealEstate10K, la précision du mouvement, la cohérence géométrique et la fluidité temporelle s'améliorent, la cohérence géométrique augmentant de plus de 20% par rapport au modèle de base, tandis que la qualité visuelle reste inchangée.
- La méthode est transférable aux tâches incarnées : en utilisant le modèle vidéo fine-tuné comme modèle d'action du monde, le taux de réussite sur les tâches de manipulation mobile de RoboCasa365 augmente de 10 points de pourcentage (selon les auteurs).
- Le dépôt fournit une implémentation complète de l'entraînement en trois étapes, avec des recettes (numéros de couches, pas de temps, rang des LoRA, etc.) figées dans la configuration publiée, ainsi que des scripts de vérification de cohérence.
Utilisation
- Code : github.com/PKU-VaLuE-Lab/CausalAlign (Apache-2.0), Python 3.10/3.11, PyTorch 2.4+, CUDA 12.x, pip install -e '.[wan,test]' ; nécessite également les checkpoints Wan-AI/Wan2.2-I2V-A14B-Diffusers, LingBot-Map ainsi que les données DL3DV / RealEstate10K.
- Flux de travail : tools/prepare_data.py pour créer les manifestes → extraction et mise en cache des caractéristiques de l'enseignant et des entrées Wan → exécution séquentielle via torchrun de stage1 / stage2 / stage3 → tools/export_lora.py pour exporter le modèle fusionné ; avant le lancement complet, vérifiez la configuration et les données avec tools/validate_release.py.
- Les expériences d'extension incarnée se trouvent dans le répertoire wam/ et utilisent Wan2.2-TI2V-5B, qui ne sont pas interchangeables avec les artefacts par défaut A14B.
Risques
- Les LoRA entraînés ne sont pas publiés ; il faut les entraîner soi-même pour les utiliser. Les commandes d'entraînement du README sont écrites pour une machine unique avec 8 cartes GPU, et nécessitent une extraction préalable des caractéristiques de l'enseignant, ce qui implique une barrière de calcul élevée.
- L'implémentation est limitée à Wan2.2, et les datasets doivent être demandés et téléchargés séparément ; tous les chiffres sont rapportés par les auteurs, et comme les vidéos de démonstration n'ont pas été visionnées, la qualité visuelle n'est pas évaluée.
Ouvrir · Code · Page du papier