AURA : Génération de vidéos d'avatars parlants en temps réel à partir de l'audio

Modèle d'avatar parlant en streaming développé par l'équipe Kyutai (France) et d'autres : à partir d'une photo de portrait et d'un flux audio, la vidéo est générée segment par segment, chaque segment ne nécessitant que l'audio correspondant. La méthode consiste à distiller un modèle enseignant bidirectionnel de 50 pas en un modèle étudiant causal de 4 pas. D'abord, l'étudiant s'aligne sur la trajectoire de l'enseignant via une attention causale à fenêtre glissante, puis la qualité de l'image est améliorée par une distillation par correspondance de distribution (DMD) avec simulation inversée. Le cache KV rotatif ne conserve que le premier segment comme ancrage d'identité et le segment le plus récent, ce qui empêche la mémoire vidéo d'augmenter lors de la génération en streaming sur de longues durées. L'article indique que la version 1.3B produit en temps réel 576p sur un seul GPU, et la version 5B produit 720p, soit respectivement 23 fois et 17 fois plus rapides que leurs enseignants respectifs.

Titre original : AURA: AUdio-dRiven streaming Avatar

Modèle d'avatar parlant en streaming développé par l'équipe Kyutai (France) et d'autres : à partir d'une photo de portrait et d'un flux audio, la vidéo est générée segment par segment, chaque segment ne nécessitant que l'audio correspondant. La méthode consiste à distiller un modèle enseignant bidirectionnel de 50 pas en un modèle étudiant causal de 4 pas. D'abord, l'étudiant s'aligne sur la trajectoire de l'enseignant via une attention causale à fenêtre glissante, puis la qualité de l'image est améliorée par une distillation par correspondance de distribution (DMD) avec simulation inversée. Le cache KV rotatif ne conserve que le premier segment comme ancrage d'identité et le segment le plus récent, ce qui empêche la mémoire vidéo d'augmenter lors de la génération en streaming sur de longues durées. L'article indique que la version 1.3B produit en temps réel 576p sur un seul GPU, et la version 5B produit 720p, soit respectivement 23 fois et 17 fois plus rapides que leurs enseignants respectifs.

Pourquoi c'est important Les vidéos pilotées par l'audio nécessitaient auparavant des dizaines d'étapes de débruitage et exigeaient d'avoir accès à l'audio futur, ce qui rendait leur intégration dans les assistants vocaux difficile. Cette approche génère la vidéo segment par segment, permettant à un petit modèle de produire des images en temps réel sur une seule carte graphique.

J'aime 1 · Étoiles du code 0

Raisons

  • Publication des modèles AURA-1.3B et AURA-5B, du modèle enseignant de 1.3B, ainsi que d'un jeu de données de 3 000 vidéos synthétiques et de trajectoires d'enseignant pré-calculées
  • Tableau de tests du README : sur les jeux de données de test HALLO3 et CelebV-HQ, la version 1.3B obtient la meilleure préservation de l'identité (CSIM) parmi toutes les méthodes comparées ; dans l'étude utilisateur, la version 5B surpasse Hallo3 sur les quatre critères de qualité d'image, synchronisation labiale, fidélité et naturel
  • Peut être combiné avec le modèle vocal propriétaire de Kyutai, Unmute, pour créer des avatars virtuels conversationnels ; une démonstration en ligne est disponible sur le site officiel

Utilisation

  • Code : https://github.com/kyutai-labs/aura;权重:https://huggingface.co/kyutai/AURA-1.3B , https://huggingface.co/kyutai/AURA-5B;演示:https://aura.kyutai.org/
  • Nécessite une carte graphique CUDA et uv : après git clone, exécutez uv sync, puis uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4 ; ajoutez --model aura-5b pour utiliser la version 5B, --compile pour accélérer, et --num_chunks pour contrôler la longueur
  • Interface Python : from aura import Aura; Aura("aura-1.3b").generate(image, audio) renvoie des tenseurs vidéo segment par segment ; les portraits carrés ou horizontaux où le visage occupe une grande partie de l'image donnent les meilleurs résultats

Risques

  • Les deux poids sont sous licence non commerciale : la version 1.3B est sous CC BY-NC 4.0, et la version 5B est sous la licence non commerciale de Snap (dérivée de TalkVerse-S2V-5B)
  • La vitesse en temps réel mentionnée dans l'article a été mesurée sur H100 avec un pipeline optimisé ; le README indique qu'avec le code du dépôt et l'option --compile, la version 1.3B atteint environ 16 fps et la version 5B environ 8 fps. Cette entrée n'a pas été exécutée
  • Le système peut générer des vidéos de personnes réelles disant n'importe quoi ; les auteurs exigent l'utilisation exclusive de photos ayant reçu le consentement de la personne concernée, l'indication claire que le contenu est généré par IA, et interdisent l'usurpation d'identité ou la diffusion de fausses informations

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA