La méthode de distillation vidéo autoregressive à pas réduits du ZIP Lab de l'Université du Zhejiang et de ses collaborateurs, qui s'attaque au problème où les sujets ou les scènes d'une vidéo longue « changent d'apparence » lorsqu'ils quittent le champ puis y reviennent. L'approche consiste à faire prédire par l'enseignant le même bloc bruité de l'étudiant dans deux contextes différents — ne différant que par un historique informatif (des blocs plus anciens et moins dérivés de l'étudiant, ou une déduction de l'enseignant avec un point de vue fixe où la caméra reste braquée sur la scène) —, à utiliser la différence entre les deux comme résidu, à le pondérer et à l'ajouter à l'objectif de score / de vitesse utilisé pour la distillation, puis à faire en sorte que l'étudiant s'aligne sur cet objectif corrigé. Le même cadre est utilisé respectivement pour la génération de vidéos longues de 60 secondes et pour les modèles du monde simulant l'évolution des scènes hors du champ de vision.
J'aime 5 · Étoiles du code 27
Raison
- Les auteurs affirment que pour le modèle de 1.3B, la qualité VBench pour une vidéo de 15 secondes est de 85.07, et le score global VBench-Long pour 60 secondes est de 79.82, ce qui constitue le meilleur résultat pour cette taille ; pour la modélisation du monde hors du champ de vision, la qualité d'évolution PlayWorld passe de 2.35 à 2.70, et la cohérence des objets MemoBench passe de 58.43 à 62.18.
- Tout est disponible : le générateur de vidéos longues (base Wan2.1-T2V-1.3B), le modèle du monde (base DreamX-World-5B) et les trois points de contrôle de l'enseignant AR, ainsi que les données d'entraînement et les entrées d'évaluation PlayWorld / MemoBench sont sur Hugging Face ; le code d'inférence, d'entraînement et d'évaluation se trouve dans le dépôt, sous licence Apache-2.0.
- Comme la première recommandation, il s'agit d'une approche autoregressive à pas réduits basée sur Wan2.1-1.3B ; l'une résout la vitesse, l'autre la cohérence à long terme, ce qui permet de les lire en parallèle.
Utilisation
- Environnement : Linux + GPU NVIDIA (compatible CUDA 12.8), création d'un environnement conda avec Python 3.12, installation de torch 2.8.0 puis pip install -r requirements.txt.
- Vidéos longues : hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir models/Wan2.1-T2V-1.3B et hf download xzxxntxdy/History-Forcing dmd/model.pt --local-dir models/History-Forcing, puis bash scripts/long_video/inference.sh --prompt "…" --output-dir output/demo/long_video pour générer une vidéo de 60 secondes.
- Modèle du monde : téléchargez Wan2.2-TI2V-5B, GD-ML/DreamX-World-5B et opsd/model.pt ainsi que le jeu de données, puis bash scripts/world_model/run.sh inference --checkpoint models/History-Forcing/opsd/model.pt --num-samples 1 (les entrées sont la première image, l'invite de scène et les actions de la caméra).
Risques
- Le README ne précise pas les besoins en mémoire vidéo ni la vitesse de génération ; l'entraînement nécessite le téléchargement supplémentaire des poids d'initialisation Causal-Forcing et des invites Self-Forcing, ainsi que l'utilisation de W&B pour la journalisation.
- Les points de contrôle sont basés sur Wan2.1 / Wan2.2 et DreamX-World ; les composants tiers ont chacun leur propre licence, et la fiche du modèle n'indique pas de licence séparée.
- Les scores sont rapportés par les auteurs ; la méthode d'évaluation de la qualité d'évolution PlayWorld doit être consultée dans le corps du papier ; n'ayant pas vu les vidéos générées, je ne commente pas la qualité visuelle.