Titre original : VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
Pour que le doublage vidéo fonctionne, les mouvements des lèvres doivent suivre la nouvelle voix tout en préservant l'identité de la personne, la posture de la tête et l'arrière-plan. Les auteurs soulignent que la plupart des éditeurs existants sont entraînés via une « auto-reconstruction de l'audio original », mais dès que la voix est remplacée, la forme des lèvres de la vidéo originale devient un objectif contradictoire. VidDub propose une supervision croisée audio-perceptive au remplacement : les échantillons avec l'audio original sont reconstruits image par image comme d'habitude ; pour les échantillons avec un audio remplacé, la perte de reconstruction de la bouche originale est masquée, la bouche étant supervisée uniquement par la synchronisation audio-vidéo, tandis que les autres zones du visage et l'arrière-plan sont préservés normalement. Lors du doublage hors ligne, la vidéo complète et la voix cible sont disponibles à l'avance, ce qui permet de créer un éditeur de diffusion à contexte complet, puis de le compresser en deux étapes de débruitage (2 NFE) grâce à la régression de trajectoire appariée et à la distillation par correspondance de distribution. Basé sur Wan2.1-VACE-1.3B, avec un encodeur audio Whisper, la pile d'inférence complète compte 2.81B de paramètres.
J'aime 7 · Étoiles du code 7
Raisons
- Les auteurs affirment qu'avec trois graines d'entraînement, le masquage de la reconstruction conflictuelle de la bouche originale améliore le Sync-C croisé audio de 0.833 ; le modèle final en deux étapes présente une meilleure synchronisation labiale sur quatre benchmarks, ainsi qu'une meilleure qualité d'image, une meilleure préservation de l'identité et une meilleure reconnaissance visuelle de la parole.
- Reproductible : le code d'entraînement, les poids (sur Hugging Face AIPeanutman/VidDub) et le benchmark VidDub-Bench (256 clips sources synthétiques, paires audio identique / audio remplacé fixes) sont tous publiés ; les vidéos longues sont traitées par glissement avec des fenêtres de 81 images, un pas de 64 images et un chevauchement de 17 images, la sortie conservant la fréquence d'images et la résolution originales.
- Le modèle de base ne compte que 1.3B, bien plus léger que les grands modèles vidéo qui atteignent souvent des dizaines de milliards de paramètres ; les étoiles du code s'élèvent à 7 (indiquant uniquement le niveau d'attention).
Utilisation
- Après git clone https://github.com/LAW1223/VidDub, exécutez pip install -r requirements.txt (Linux, Python 3.10+, FFmpeg, GPU NVIDIA) ; utilisez huggingface-cli download pour télécharger respectivement Wan-AI/Wan2.1-VACE-1.3B, openai/whisper-small et AIPeanutman/VidDub dans le dossier weights/.
- Exécutez python scripts/infer.py --model weights/VidDub --weight-root weights --video input.mp4 --audio replacement.wav --output output.mp4 ; la vidéo source doit contenir un visage détectable et principalement frontal, avec au moins 81 images, l'audio étant rééchantillonné à 16 kHz ; les vidéos plus longues passent automatiquement en mode fenêtré (vous pouvez aussi spécifier --mode windowed).
Risques
- Ce n'est pas une licence open source : l'utilisation commerciale personnelle est autorisée (y compris la monétisation des produits finis), ainsi que la recherche académique non commerciale ; l'utilisation au nom d'une entreprise, ou la création de services hébergés tels que SaaS, API, applications web ou bots, nécessite une autorisation écrite séparée.
- La modification des mouvements des lèvres relève des capacités de deepfake ; ne traitez que les vidéos que vous avez le droit de modifier et indiquez clairement qu'il s'agit de contenu synthétique ; les auteurs rappellent également que les données d'entraînement ne doivent utiliser que des vidéos légalement traitables. Le README ne précise pas les exigences en mémoire GPU.