AURA est un modèle d'avatar audio piloté en streaming développé par Kyutai et l'Université Sorbonne (article arXiv 2611.26540) : il distille un modèle enseignant bidirectionnel de 50 étapes en un modèle étudiant causal de 4 étapes par segment, générant segment par segment grâce à un cache KV glissant, en n'utilisant que l'audio du segment courant. La version 1.3B est basée sur Wan2.1-T2V-1.3B, utilise l'encodage audio Mimi, compte 576p, et est la seule de la famille à fonctionner en temps réel ; il existe également AURA-5B basé sur Snap TalkVerse (720p, l'article indique 9.7 images par seconde sur une seule H100). Les deux versions fournissent des poids fusionnés autonomes et des points de contrôle d'entraînement contenant uniquement LoRA, et le jeu de données de trajectoires d'entraînement est également public.
Pourquoi c'est important Génère l'image segment par segment en recevant l'audio, sans attendre la fin de la phrase ; l'article indique 20.7 images par seconde en bout en bout sur une seule H100, soit 23 fois plus rapide que le modèle enseignant.
J'aime 7 · Score de tendance 7 · Téléchargements 0
Licence : Non commercial · ComfyUI : Non disponible · VRAM : Non spécifiée
Raisons
- Article, dépôt de code, configurations d'entraînement et journaux de métriques fournis, permettant la reproductibilité
- La fiche modèle présente des exemples avec la même phrase audio associée à trois portraits différents
Utilisation
- Clonez kyutai-labs/aura et exécutez uv sync, téléchargez stage2_dmd/step-6500_ema_merged.safetensors (environ 6.3 Go), puis récupérez le VAE et l'encodeur de texte T5 depuis Wan2.1-T2V-1.3B, et suivez les instructions du dépôt pour fournir un portrait et une phrase audio
Risques
- 1.3B est sous licence CC BY-NC 4.0 et 5B sous licence non commerciale Snap, aucune des deux ne permet l'usage commercial
- Peut transformer n'importe quel portrait en vidéo parlante ; utilisez uniquement votre propre image ou celle de personnes ayant donné leur autorisation, et indiquez clairement la génération par IA lors de la publication
- Les chiffres de temps réel ont été mesurés par l'article sur H100 ; la vitesse et la VRAM sur les cartes graphiques grand public ne sont pas indiquées dans la fiche modèle ; pas de support ComfyUI pour le moment