원제: VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
영상 더빙에서는 새로운 음성에 맞춰 입 모양을 조정하면서도 인물의 정체성, 머리 자세 및 배경은 그대로 유지해야 합니다. 저자들은 기존 편집기 대부분이 '원본 오디오 자기 재구성' 방식으로 학습되지만, 음성이 교체되면 원본 영상의 입 모양이 오히려 충돌하는 목표가 된다는 점을 지적합니다. VidDub은 교체 인식 기반의 크로스 오디오 감독 방식을 제안합니다. 원본 오디오 샘플은 전체 프레임을 평소처럼 재구성하고, 교체된 오디오 샘플에서는 원본 입 부분의 재구성 손실을 마스킹하여 입 부분은 오디오-비디오 동기화만으로 감독하며, 나머지 얼굴 영역과 배경은 평소대로 유지합니다. 오프라인 더빙 시에는 전체 영상과 목표 음성이 사전에 모두 주어지므로, 이를 전체 컨텍스트 확산 편집기로 구성한 후 매칭 궤적 회귀와 분포 매칭 증류를 통해 2단계 노이즈 제거(2 NFE)로 압축합니다. Wan2.1-VACE-1.3B를 기반으로 하며, Whisper 오디오 인코더를 사용하고, 전체 추론 스택은 2.81B 파라미터 규모입니다.
좋아요 7 · 코드 스타 수 7
이유
- 저자들은 세 가지 학습 시드에서 충돌하는 원본 입 부분의 재구성을 마스킹함으로써 크로스 오디오 Sync-C가 0.833 향상되었다고 보고합니다. 최종 2단계 모델은 네 가지 벤치마크에서 우수한 입 모양 동기화 성능을 보이며, 화질, 정체성 유지 및 시각적 음성 인식 측면에서도 더 나은 결과를 냅니다.
- 재현 가능: 학습 코드, 가중치(Hugging Face AIPeanutman/VidDub) 및 VidDub-Bench 벤치마크(256개의 합성 소스 클립, 고정된 동일 오디오/교체 오디오 페어링)가 모두 공개되었습니다. 긴 영상은 81 프레임 윈도우, 64 프레임 스트라이드, 17 프레임 오버랩으로 슬라이딩 처리하며, 출력은 원본 프레임 레이트와 해상도를 유지합니다.
- 기본 모델은 1.3B 규모로, 수십 B 규모의 영상 대형 모델보다 훨씬 가볍습니다. 코드 스타 수는 7입니다(단순히 관심도만 반영).
사용법
- git clone https://github.com/LAW1223/VidDub 후 pip install -r requirements.txt를 실행합니다(Linux, Python 3.10+, FFmpeg, NVIDIA GPU 필요). huggingface-cli download를 사용하여 Wan-AI/Wan2.1-VACE-1.3B, openai/whisper-small 및 AIPeanutman/VidDub을 각각 weights/ 폴더 아래로 다운로드합니다.
- python scripts/infer.py --model weights/VidDub --weight-root weights --video input.mp4 --audio replacement.wav --output output.mp4를 실행합니다. 소스 영상에는 감지 가능한 정면 얼굴이 있어야 하며 최소 81 프레임 이상이어야 하고, 오디오는 16 kHz로 리샘플링됩니다. 더 긴 영상은 자동으로 윈도우 모드로 처리되며(--mode windowed 옵션으로 지정 가능).
리스크
- 오픈소스 라이선스가 아닙니다: 개인 용도로는 상업적 사용(완성물의 수익화 포함)이 가능하며, 비영리 학술 연구에도 사용할 수 있습니다. 회사 명의로 사용하거나 SaaS, API, 웹 애플리케이션, 봇 등 호스팅 서비스로 제공하는 경우 별도의书面授权를 받아야 합니다.
- 입 모양 변경은 딥페이크 유형의 기능에 해당하므로, 수정 권한이 있는 영상만 처리하고 합성임을 명시해야 합니다. 저자들도 학습 데이터로 합법적으로 처리 가능한 영상만 사용해야 한다고 강조합니다. README에는 VRAM 요구 사항이 명시되어 있지 않습니다.
열기 · 코드 · Hugging Face 논문 페이지