Оригинальное название: VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
Чтобы при дубляже видео артикуляция соответствовала новому голосу, необходимо одновременно сохранять личность персонажа, положение головы и фон. Авторы отмечают, что большинство существующих редакторов обучаются на «самореконструкции оригинального аудио», однако при замене голоса артикуляция из исходного видео становится конфликтующей целью. VidDub предлагает обучение с учетом замены (replacement-aware) и кросс-аудио надзор: для образцов с оригинальным аудио выполняется полная покадровая реконструкция; для образцов с замененным аудио маска исключает потери реконструкции области рта, где синхронизация контролируется только по соответствию звука и изображения, а остальные области лица и фон сохраняются как обычно. Поскольку при офлайн-дубляже все видео и целевое аудио известны заранее, система реализована как диффузионный редактор с полным контекстом, который затем сжимается до двух шагов денуазинга (NFE 2) с помощью регрессии согласованных траекторий и дистилляции распределений. Модель основана на Wan2.1-VACE-1.3B, использует аудиоэнкодер Whisper и имеет полный стек вывода с 2.81 млрд параметров.
Лайков: 7 · Звезд в репозитории: 7
Обоснование
- Авторы утверждают, что при трех различных случайных зернах обучения маскирование конфликтующей реконструкции оригинальной артикуляции повышает метрику Sync-C для кросс-аудио на 0.833; итоговая двухшаговая модель демонстрирует лучшую синхронизацию губ, качество изображения, сохранение личности и распознавание визуальной речи на четырех бенчмарках.
- Можно воспроизвести: опубликованы код обучения, веса (на Hugging Face: AIPeanutman/VidDub) и бенчмарк VidDub-Bench (256 синтетических исходных фрагментов с фиксированными парами «оригинальное аудио / замененное аудио»); длинные видео обрабатываются скользящим окном размером 81 кадров, шагом 64 кадров и перекрытием 17 кадров, при этом выходной файл сохраняет исходную частоту кадров и разрешение.
- Базовая модель имеет всего 1.3 млрд параметров, что значительно легче видео-моделей с десятками миллиардов параметров; количество звезд в репозитории составляет 7 (что отражает только уровень интереса).
Использование
- После выполнения git clone https://github.com/LAW1223/VidDub установите зависимости командой pip install -r requirements.txt (требуется Linux, Python 3.10+, FFmpeg и видеокарта NVIDIA); с помощью huggingface-cli download загрузите модели Wan-AI/Wan2.1-VACE-1.3B, openai/whisper-small и AIPeanutman/VidDub в папку weights/.
- Запустите python scripts/infer.py --model weights/VidDub --weight-root weights --video input.mp4 --audio replacement.wav --output output.mp4; исходное видео должно содержать обнаруживаемое лицо, обращенное преимущественно вперед, и иметь не менее 81 кадров; аудио будет пересэмплировано до частоты 16 кГц; более длинные видео автоматически обрабатываются в оконном режиме (можно также явно указать --mode windowed).
Риски
- Лицензия не является полностью открытой: разрешено коммерческое использование для частных лиц (включая монетизацию результатов) и некоммерческие академические исследования; для использования от имени компании или при создании хостинговых сервисов, таких как SaaS, API, веб-приложения или боты, требуется отдельное письменное разрешение.
- Модификация артикуляции относится к технологиям глубоких подделок (deepfake), поэтому обрабатывайте только видео, на которые у вас есть права, и указывайте, что результат является синтетическим; авторы также напоминают, что для обучения можно использовать только законно полученные и обработанные видео. В README не указаны требования к объему видеопамяти.