PrimeSim

PrimeSim est un modèle de monde multi-vues conditionné par l'action, basé sur Wan2.2-TI2V-5B : il prend en entrée la première image de chaque angle de caméra, une invite textuelle et une trajectoire d'action, puis génère les images qui suivent. Les auteurs affirment avoir entraîné le modèle sur 30,110 heures de données couvrant 22 plateformes robotiques différentes ; il se classe premier dans quatre des cinq tests de l'évaluation simulée WorldSimProbe et obtient le meilleur score global sur EWMBench. Ils fournissent les poids de base issus de l'entraînement intermédiaire (pour le fine-tuning) ainsi que les poids de raisonnement causal à faible nombre d'étapes de la quatrième phase. Lors de l'inférence, les trois angles de vue sont générés simultanément en 192×256, avec une cadence dépassant 10 FPS selon les auteurs.

PrimeSim est un modèle de monde multi-vues conditionné par l'action, basé sur Wan2.2-TI2V-5B : il prend en entrée la première image de chaque angle de caméra, une invite textuelle et une trajectoire d'action, puis génère les images qui suivent. Les auteurs affirment avoir entraîné le modèle sur 30,110 heures de données couvrant 22 plateformes robotiques différentes ; il se classe premier dans quatre des cinq tests de l'évaluation simulée WorldSimProbe et obtient le meilleur score global sur EWMBench. Ils fournissent les poids de base issus de l'entraînement intermédiaire (pour le fine-tuning) ainsi que les poids de raisonnement causal à faible nombre d'étapes de la quatrième phase. Lors de l'inférence, les trois angles de vue sont générés simultanément en 192×256, avec une cadence dépassant 10 FPS selon les auteurs.

Pourquoi c'est important Utiliser la génération vidéo plutôt que la simulation physique pour prévisualiser les opérations robotiques, avec trois angles de caméra générés simultanément et des poids utilisables commercialement.

J'aime (Hugging Face) 2 · Progression du score « J'aime » 2 · Téléchargements Hugging Face 201

Licence : usage commercial autorisé · ComfyUI : non disponible · VRAM : 24 Go

Raisons

  • Licence Apache-2.0, le papier, la page du projet, ainsi que le code d'inférence et d'entraînement sont tous publics

Utilisation

  • Téléchargez l'encodeur de texte, le VAE et le tokenizer depuis Wan2.2-TI2V-5B, configurez les chemins selon le dépôt GitHub, puis exécutez les exemples avec primesim_posttrain_g2

Risques

  • Recommandation : A100 ou H100 80Go ; le backbone de 5B et l'encodeur de texte de 11 Go doivent résider simultanément en mémoire, ce qui ne tient pas sur une carte graphique de 24 Go
  • Les données d'entraînement ne sont pas publiques ; les chiffres d'évaluation sont auto-déclarés par les auteurs

Ouvrir

抱脸 world-model 标签

Parcourir les dernières actualités IA