EvoWorld : Faire en sorte que les modèles de monde vidéo infèrent les conséquences des événements hors champ

Les modèles de génération vidéo sont doués pour produire des images crédibles, mais ils peinent souvent à déduire comment le monde évolue après un événement (par exemple, si une bête sauvage apparaît, les personnes à proximité doivent-elles fuir, se cacher ou résister ?). EvoWorld utilise un modèle visuel-langagier comme « cerveau du monde » : il observe les segments déjà générés, maintient l'état du monde et infère les conséquences. Un moteur de rendu vidéo autorégressif par segment (basé sur LTX-2) produit ensuite les images, tandis que les personnes et objets hors champ continuent d'évoluer. Les auteurs publient également les données d'entraînement EvoWorld-Data et le benchmark d'évaluation EvoWorld-Bench, affirmant une supériorité nette par rapport aux modèles récents en matière d'évolution causale déclenchée par des événements, tout en préservant la qualité visuelle et la cohérence lors du retour sur scène.

Titre original : EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models

Les modèles de génération vidéo sont doués pour produire des images crédibles, mais ils peinent souvent à déduire comment le monde évolue après un événement (par exemple, si une bête sauvage apparaît, les personnes à proximité doivent-elles fuir, se cacher ou résister ?). EvoWorld utilise un modèle visuel-langagier comme « cerveau du monde » : il observe les segments déjà générés, maintient l'état du monde et infère les conséquences. Un moteur de rendu vidéo autorégressif par segment (basé sur LTX-2) produit ensuite les images, tandis que les personnes et objets hors champ continuent d'évoluer. Les auteurs publient également les données d'entraînement EvoWorld-Data et le benchmark d'évaluation EvoWorld-Bench, affirmant une supériorité nette par rapport aux modèles récents en matière d'évolution causale déclenchée par des événements, tout en préservant la qualité visuelle et la cohérence lors du retour sur scène.

Pourquoi c'est important Les personnes et objets réagissent de manière plausible après un événement, et le retour sur une scène hors champ reste cohérent ; la génération vidéo fait un pas vers la justesse logique plutôt que vers la simple ressemblance visuelle.

J'aime 19 · Étoiles du code 22

Raisons

  • Ajoute une étape explicite d'état du monde et de raisonnement causal aux modèles de monde vidéo, répondant au problème des « images plausibles mais personnages immobiles ou incohérences temporelles ».
  • Les poids, les données d'entraînement, le jeu de test et les scripts d'entraînement en deux étapes sont tous disponibles.
  • Le dépôt inclut des exemples de génération vidéo à partir d'images ; les prompts de réaction dans ces exemples ont été pré-générés, permettant une exécution sans lancer le service VLM.

Utilisation

  • Code : https://github.com/Tommy-Bie/EvoWorld;权重:抱脸 Tommy-Bie/EvoWorld ; Données : Tommy-Bie/EvoWorld-Data, Tommy-Bie/EvoWorld-Bench
  • Après avoir configuré l'environnement avec uv sync, exécutez les exemples via scripts/infer\_examples.sh --case media/example1 ; pour une inférence en ligne, un service VLM distinct doit être lancé (voir docs/VLM_INFERENCE.md).

Risques

  • Basé sur LTX-2, les composants associés sont soumis à la licence communautaire LTX-2.x ; vérifiez la licence avant toute utilisation commerciale.
  • Les améliorations ont été mesurées principalement sur EvoWorld-Bench, créé par les auteurs ; le résumé ne fournit pas de chiffres spécifiques.
  • Cette entrée n'a pas été exécutée ; l'effet visuel est à confirmer sur la page du projet.

Ouvrir · Code · Page arXiv

Hugging Face Daily Papers

Parcourir les dernières actualités IA