Titre original : Code World Model 2.0: Towards Infinite Controllable Video Generation
Travaux d'Ant Inclusion AI, de l'Université Westlake et de l'Université du Zhejiang. L'état du monde reste dans le moteur amont ; des « agents visuels » (graphes sémantiques, boîtes 3D éparses, masques de sujets, géométrie ombrée, boîtes avec squelette, etc., sous forme de vidéos structurelles) fixent la trajectoire de la caméra, la disposition de la scène et le mouvement des objets. Le modèle vidéo Invoker-Render génère ensuite les matériaux et l'éclairage à partir des agents, d'une image de référence d'apparence et du texte. Il comprend un modèle de création hors ligne bidirectionnel et un modèle de flux causal en quatre étapes, entraîné sur environ 200 heures de corpus ; pour éviter la superposition de la compression des étapes et de la dérive autorégressive, les auteurs proposent le Forçage Progressif (ProForcing) : entraîner d'abord un prédicteur causal, le distiller en un rendu à quatre étapes, puis s'entraîner sur des trajectoires auto-générées continues. L'article affirme que les scènes de course peuvent être générées de manière stable et continue pendant 30 minutes, avec une cohérence maintenue pour la scène et l'apparence des sujets.
Pourquoi c'est important Séparer « comment le monde bouge » de « à quoi ressemble l'image » permet de spécifier précisément la caméra et les mouvements ; les auteurs affirment pouvoir générer en continu pendant une demi-heure sans dérive
J'aime 14 · Étoiles du code 132
Raisons
- Le README indique que le modèle se classe premier sur les quatre dimensions d'évaluation pour 140 trajectoires de validation, avec un Elo total de 1343.2, contre SolarRenderer (version causale) à 1245.3
- Les agents grossiers ou fins peuvent être choisis à l'exécution : fournir une géométrie fine respecte les contraintes fines, tandis que fournir uniquement des boîtes grossières permet de compléter un mouvement local plausible ; la démonstration inclut la conduite en temps réel via manette et la comparaison de deux trajectoires de caméra sur la même scène
- Les poids inclusionAI/invoker-render-1.0 sont disponibles (basés sur un DiT de flux causal MiniMax-H3, environ 33B paramètres), accompagnés d'un service de session WebSocket, d'un client de fichiers et d'un client navigateur
Utilisation
- Code : https://github.com/inclusionAI/CodeWorldModel;权重:https://huggingface.co/inclusionAI/invoker-render-1.0(FP32 environ 132.5 GB, sans inclure les fichiers associés tels que VAE, Qwen et décodeur causal, qui doivent être préparés séparément)
- Après configuration de l'environnement selon docs/INFERENCE.md : invoker_render.py prepare génère le paquet d'inférence, serve lance le service, infer prend en entrée une première image 1344×768, une vidéo d'agents à 24 FPS (avec un nombre de frames de 17N+5, au moins 39 images) et le prompt, pour produire video.mp4
Risques
- La configuration production par défaut nécessite une machine avec 8 GPU ; la démonstration de 30 minutes a utilisé une stratégie de qualité de guidage par référence non activée par le service par défaut
- La licence est Apache-2.0 plus les clauses CC BY-NC 4.0 (usage non commercial) ; la méthode d'entraînement et les données ne sont pas encore publiques. Cet article n'a pas été exécuté