PartLock-CMU est un modèle de génération d'actions à partir de texte en flux continu (un générateur de 3050 millions de paramètres + un tokenizer d'actions par parties du corps de 750 millions de paramètres). Il génère des actions corporelles complètes en continu dès qu'on lui fournit des phrases courtes telles que « walk », « jump » ou « salsa dance ». Le changement de phrase prend effet en environ 0.13 secondes, avec des transitions fluides entre les mouvements. L'auteur a entraîné le modèle sur une seule carte RTX 3060 en utilisant uniquement 2308 extraits de la bibliothèque de capture de mouvement CMU ; l'ensemble du processus a duré environ 3 heures et 50 minutes. Sur cette même carte, chaque étape (soit 4 images) prend entre 35 et 38 millisecondes, soit environ 3.5 fois plus rapide que le temps réel requis. La sortie consiste en des positions et des rotations pour 22 articulations (dans l'ordre SMPL) à 30 images par seconde ; il est nécessaire de les rediriger manuellement vers le squelette du personnage.
Pourquoi c'est important Entraîné uniquement sur la bibliothèque de capture de mouvement CMU, l'auteur affirme qu'il peut être utilisé dans des produits commerciaux. La génération en temps réel est possible avec des cartes graphiques grand public (NVIDIA), et les données squelettiques produites peuvent ensuite être liées aux personnages.
J'aime 1 · Score d'appréciation 1 · Téléchargements 0
Licence : usage commercial autorisé · ComfyUI : non disponible · VRAM : ≈1 Go (estimation)
Raisons
- Le code et les poids sont sous licence Apache-2.0 ; la fiche du modèle précise les données d'entraînement, la méthode de division des jeux de données et les limitations, sans sélection préalable des exemples.
- Une page de démonstration locale en temps réel est incluse, avec un script lançable par double-clic sous Windows.
Utilisation
- Après avoir exécuté
pip install -r requirements.txt, lancezpython live/live\_server.pyet ouvrez http://localhost:8765 pour saisir des phrases courtes ; ou utilisezpython generate.py --sec 4 --out motion.npz "walk" "jump"pour exporter un fichier d'actions.
Risques
- Il ne connaît que les actions présentes dans la bibliothèque CMU ; l'auteur a testé 20 nouvelles actions et le personnage est resté presque immobile dans la plupart des cas. Combiner deux actions dans une seule phrase donne de mauvais résultats.
- Seuls les prompts en anglais sont pris en charge ; une carte graphique NVIDIA est requise ; la sortie est un squelette et non un maillage ; l'interface de la page de démonstration est en japonais.