invoker-render-1.0

Invoker-Render est le moteur de rendu du Code World Model 2.0 (inclusionAI d'Ant Group, Université Westlake, Université du Zhejiang) : il prend en entrée une vidéo proxy structurelle (cartes sémantiques, boîtes 3D éparses, masques de sujet, géométrie colorée ou boîtes avec squelette), une image de référence d'apparence et du texte, puis génère la vidéo de manière causale et en flux continu, par blocs de 4 pas, chaque bloc ne considérant que des ancres d'apparence fixes et un historique récent limité. Les poids constituent un modèle principal de 33.12 milliards de paramètres en FP32 (environ 132.5 Go), reprenant l'architecture MiniMax-H3, avec un code d'inférence basé sur SGLang et SGLang-Omni, incluant un service de session WebSocket et un client navigateur.

Invoker-Render est le moteur de rendu du Code World Model 2.0 (inclusionAI d'Ant Group, Université Westlake, Université du Zhejiang) : il prend en entrée une vidéo proxy structurelle (cartes sémantiques, boîtes 3D éparses, masques de sujet, géométrie colorée ou boîtes avec squelette), une image de référence d'apparence et du texte, puis génère la vidéo de manière causale et en flux continu, par blocs de 4 pas, chaque bloc ne considérant que des ancres d'apparence fixes et un historique récent limité. Les poids constituent un modèle principal de 33.12 milliards de paramètres en FP32 (environ 132.5 Go), reprenant l'architecture MiniMax-H3, avec un code d'inférence basé sur SGLang et SGLang-Omni, incluant un service de session WebSocket et un client navigateur.

Pourquoi c'est important La caméra, la disposition et le mouvement des objets sont fixés par les maquettes ou les cartes sémantiques du moteur en amont ; le modèle ne dessine que les matériaux et l'éclairage, permettant une génération en flux continu. Les auteurs ont démontré une séquence de course automobile continue de trente minutes.

J'aime Hugging Face 8 · Score de montée Hugging Face 8 · Téléchargements Hugging Face 1989

Licence : usage non commercial · ComfyUI : non disponible · VRAM : ≈80 Go (estimation)

Raisons

  • Article scientifique, page du projet, code d'inférence et démonstration en ligne sur Hugging Face fournis
  • Les auteurs affirment que le modèle se classe premier sur quatre critères d'évaluation humaine sur un ensemble de test de 140 segments

Utilisation

  • Préparez l'environnement et le package d'inférence selon le README et docs/INFERENCE.md de github.com/inclusionAI/CodeWorldModel, fournissez une image de première frame de 1344×768, une vidéo proxy à 24 FPS et du texte, puis exécutez invoker_render.py pour une inférence sur fichier ou lancez le service de session

Risques

  • La configuration de production par défaut nécessite une machine unique avec 8 cartes graphiques NVIDIA ; le dépôt n'inclut pas le VAE, Qwen, le décodeur causal, etc., qui doivent être préparés séparément
  • La licence est Apache-2.0 plus CC BY-NC 4.0, à traiter comme usage non commercial ; la méthode d'entraînement et les données ne sont pas encore publiées

Ouvrir

抱脸 world-model 标签

Parcourir les dernières actualités IA