Titre original : LynnReal-Hand: Unlocking World Interaction with Hand Control
Les modèles de monde vidéo interactifs permettent d'explorer des scènes via le texte et la caméra, mais l'interaction directe avec les objets nécessite un contrôle plus fin. LynnReal-Hand a compilé 100K segments d'interactions provenant de scènes réelles et synthétiques, en utilisant une supervision axée sur la main pour améliorer les mouvements des doigts et les détails du contact ; il apprend ensuite une application de flux causal pour une génération en peu d'étapes, utilise une distillation de score par régions combinant des a priori vidéo et image, et entraîne un décodeur Ultra-Fast-VAE compact pour réduire la latence. Les auteurs affirment que sur HandBench, le modèle à séquence complète obtient un FVD de 181.67 et un score Dice MANO de 93.02, tandis que le modèle causal en trois étapes atteint un score Dice de 92.49 ; sur une seule carte H200, la génération en streaming 540p atteint 18.03 FPS, avec une latence de 741 ms et un pic de mémoire vidéo de 34.89 GB.
Pourquoi c'est important Les modèles de monde interactifs ne sont souvent contrôlables que par le texte et la caméra ; celui-ci permet à la main de saisir et de relâcher directement des objets, et les auteurs affirment qu'une seule carte suffit pour une génération en temps réel en streaming
J'aime 2 · Étoiles du code 11
Raisons
- Les paquets de génération Base (séquence complète) et Fast (causal en trois étapes, version préliminaire) ont été publiés, ainsi que le décodeur Ultra-Fast-VAE séparé ; les paquets de génération incluent le VAE original MiniMax H3 et l'encodeur Qwen
- Prend en charge l'extension de la main, la saisie, le relâchement et la coordination des deux mains, avec un contrôle simultané de la trajectoire de la caméra ; le dépôt inclut sept exemples avec image de départ, vidéo de la main, pose de la caméra et résultats de référence
- Fast ne conserve que le bloc actuel, le bloc précédent et la première image fixe comme contexte, de sorte que le cache d'attention n'augmente pas continuellement lors de la génération en streaming
Utilisation
- Code : https://github.com/LynnReal-AI/LynnReal(MiniMax licence communautaire H3) ; les poids sont disponibles sur le compte Hugging Face shaohao011, téléchargeables via python scripts/download_weights.py --component fast
- Vérifiez d'abord les entrées d'exemple avec lynnreal-hand validate (aucune carte graphique requise), puis générez le cache de conditions avec lynnreal-hand prepare, et produisez la vidéo avec lynnreal-hand infer --config configs/fast.json ; ajoutez --accelerated pour utiliser le chemin accéléré sur une seule carte
Risques
- Les deux modèles comptent 33B de paramètres, et l'environnement de référence utilise une seule carte H200 ; l'image de départ, la vidéo de la main et la pose de la caméra doivent avoir un champ de vision cohérent et des séquences d'images alignées, et les entrées n'acceptent que quelques nombres d'images fixes
- La licence communautaire MiniMax H3 ne s'applique pas à l'Union européenne, au Royaume-Uni, à la Corée du Sud et aux États-Unis, et l'utilisation commerciale est soumise à des conditions supplémentaires
- Les résultats sont rapportés par les auteurs ; cette entrée n'a pas été exécutée