Transformez une vidéo générée par IA en animation pour n'importe quel organisme squelettisé (avec ailes, queue ou huit pattes) : le modèle vidéo filme simultanément la vue de face et de profil dans la même image, un détecteur d'articulations spécifique à cet organisme lit les articulations des deux angles, la triangulation détermine les positions 3D, puis le squelette est appliqué et exporté au format GLB.
Étoiles 420 (+61 / 24h)
Raison
- Flux de travail en 8 étapes : une image génère un maillage texturé (Flux 3 pour l'image, Tripo H3.1 pour la modélisation) → placement manuel du squelette sur la vue du maillage, skinning dans Blender → chaque membre est peint d'une couleur différente pour éviter les inversions gauche/droite → MiniMax H3 Max génère une vidéo à deux caméras de 5 secondes selon le prompt → entraînement d'un détecteur d'articulations DINOv2 avec des poses aléatoires → lecture des articulations image par image → calcul des positions 3D à partir des deux angles → ajustement du squelette et exportation d'un GLB à 24 fps
- L'auteur fournit quatre exemples : loup, dragon, araignée géante et démon de feu ; l'erreur moyenne sur l'ensemble de validation du détecteur est de 2.9–9.4 pixels ; l'auteur indique que chaque vidéo de 5 secondes coûte environ 0.26 dollars sur fal, la lecture des articulations prend 10 secondes et l'ajustement moins d'une minute, sans correction manuelle nécessaire
- Inclut 6 compétences Claude Code (aperçu, rigging, tournage, détecteur, capture, LoRA), expliquant comment évaluer la qualité de la capture ; il est également possible d'entraîner un LoRA MiniMax H3 à deux caméras sur fal, l'auteur indiquant qu'avec le LoRA, les inversions de couleur des membres du loup passent de 2 sur 5 clips à 0 (un seul seed par action)
- La méthode provient de @CanItCode, l'idée du LoRA H3 vient de @Graalitoo, ce dépôt est une version exécutable compilée par l'auteur
Utilisation
- Nécessite une carte graphique NVIDIA CUDA (l'entraînement du détecteur demande 24 Go de VRAM, la lecture des articulations et l'ajustement sont bien moins exigeants), Python 3.11, Blender 5.x et une clé fal ; après git clone, installez torch 2.11 et les dépendances selon le README, et placez FAL_KEY dans .env
- Testez d'abord gratuitement : le dépôt contient les données d'articulations d'un extrait de rugissement de dragon, l'ajustement via mocap.solve prend environ 20 secondes sur CPU ; utilisez ensuite tools/fetch_examples.sh dragon --readers --clips pour télécharger les maillages, détecteurs et extraits d'exemple, puis exécutez successivement prep.sh, rig.sh et capture.sh pour obtenir un GLB complet
- Claude Code : /plugin marketplace add Patch-gg/anymove, puis /plugin install anymove@anymove
- Pour créer votre propre créature : copiez l'exemple le plus proche depuis assets/ (loup quadrupède, dragon ailé, araignée à huit pattes, démon bipède ailé avec queue), remplacez model.glb, puis exécutez successivement prep, rig, dataset (environ 25 minutes), train (environ 20 minutes), film et capture
Risques
- Limitations listées par l'auteur : l'ajustement échoue pour la marche à huit pattes (les deux angles divergent sur la patte levée), les actions allongées échouent, le squelette doit être placé manuellement, le modèle vidéo peut dériver ; le contact au sol ne reconnaît que les noms des pattes du loup et du dragon, les poils et les tissus nécessitent des os supplémentaires
- Les clips d'entraînement du LoRA sont générés en inversant des actions de vidéos IA puis en les rendant, les actions elles-mêmes sont créées par IA ; l'entraînement sur fal prend environ 12 dollars et 2 heures pour 1200 étapes, le prix étant celui enregistré par l'auteur en 10
- Le code est sous licence Apache-2.0, mais les poids ouverts de MiniMax H3 sont sous licence communautaire, l'utilisation hébergée sur fal est soumise aux conditions de fal, et le LoRA loup fourni est sous licence communautaire H3 et non Apache-2.0 ; le dépôt a été créé le 27 10