Le modèle de génération d'actions en temps réel de NVIDIA : à partir de la pose récente du personnage et de la pose cible à atteindre, il génère un mouvement fluide entre les deux, destiné à l'animation squelettique humaine et aux mouvements de référence pour le robot humanoïde Unitree G1 ; les Smart Primitives associées transforment les poses cibles en « briques » réutilisables, permettant de composer des déplacements et des interactions avec des objets sans réentraînement.
Score de montée 73 · J'aime 74 · Téléchargements 0
Raison
- Deux jeux de poids : SOMA (squelette humain à 30 articulations, environ 200 M de paramètres, entraîné sur 313,526 segments de données de capture de mouvement Bones RigPlay 1) et Unitree G1 (34 articulations, environ 195 M de paramètres) ; les fichiers des deux jeux ne sont pas interchangeables.
- Chaque jeu se compose de trois réseaux : un VQ-VAE de pose, un prédicteur de pose et un prédicteur de mouvement racine ; la sortie est un mouvement à 30 Hz, générant 6–16 tokens par inférence (24–64 images) ; pour des mouvements plus longs, la sortie est réinjectée comme contexte pour une génération itérative ; aucune entrée texte ou image n'est acceptée.
- L'article a été publié dans ACM Transactions on Graphics ; les poids sont sous NVIDIA Open Model Agreement, autorisant l'usage commercial et la redistribution des versions modifiées, le code associé étant sous Apache 2.0. Publié le 23 10, il n'avait pas été inclus dans les numéros précédents.
Utilisation
- Pour voir simplement le résultat : utilisez directement le logiciel NVlabs/motionbricks sur GitHub, qui inclut les modèles ONNX et les démonstrations SOMA et G1 (basées sur Newton et Warp), sans avoir besoin de télécharger les poids ici ; la démonstration TensorRT nécessite un GPU NVIDIA.
- Pour exporter vous-même en ONNX ou utiliser d'autres runtimes : hf download nvidia/MotionBricks --include "soma/*" (ou "g1/*"), en conservant la structure des répertoires, puis exportez selon le guide du dépôt logiciel tools/onnx ; l'exportateur s'exécute sur CPU et nécessite Python 3.12 et PyTorch 2.14.0+cpu.
Risques
- Le modèle génère des mouvements, pas un contrôleur de robot : pour un déploiement sur un robot réel, un contrôleur de suivi distinct, une vérification des limites articulaires et une validation de sécurité sont nécessaires.
- La fiche du modèle ne fournit pas de scores d'évaluation de bout en bout, ni de latence d'inférence ou de débit ; les poids ne sont pas des modèles Transformers from_pretrained et n'incluent pas le processus d'entraînement ni les données d'entraînement.
- Les exemples de mouvements BONES fournis sont réservés à l'évaluation interne (NVIDIA Sample Data Evaluation License) ; le paquet G1 n'inclut pas la bibliothèque de mouvements utilisée dans la démonstration originale.
Éditeur : data.json le classait comme modèle de langage, mais il effectue en réalité de la génération de mouvements ; il est ici reclassé comme modèle de génération.