Tiêu đề gốc: VidDub: Chưng cất nhận biết sự thay thế cho lồng tiếng video hai bước
Lồng tiếng video đòi hỏi khẩu hình phải khớp với giọng nói mới, đồng thời vẫn giữ nguyên danh tính nhân vật, tư thế đầu và bối cảnh. Các tác giả chỉ ra rằng hầu hết các trình chỉnh sửa hiện có đều được huấn luyện bằng phương pháp "tự tái tạo từ âm thanh gốc", nhưng một khi giọng nói bị thay đổi, khẩu hình trong video gốc lại trở thành mục tiêu gây xung đột. VidDub đề xuất cơ chế giám sát chéo âm thanh nhận biết sự thay thế: đối với mẫu âm thanh gốc, toàn bộ khung hình được tái tạo như bình thường; đối với mẫu đã đổi âm thanh, phần tổn thất tái tạo ở vùng miệng gốc bị che đi, chỉ sử dụng độ đồng bộ giữa âm và hình để giám sát vùng miệng, trong khi các vùng khác trên khuôn mặt và bối cảnh vẫn được giữ nguyên. Trong quá trình lồng tiếng ngoại tuyến, toàn bộ video và giọng nói mục tiêu đều có sẵn từ trước, do đó mô hình được thiết kế dưới dạng trình chỉnh sửa khuếch tán với ngữ cảnh đầy đủ, sau đó sử dụng hồi quy quỹ đạo khớp nối kết hợp với chưng cất khớp phân phối để nén xuống còn hai bước khử nhiễu (2 NFE). Mô hình dựa trên nền tảng Wan2.1-VACE-1.3B, kết hợp bộ mã hóa âm thanh Whisper, với toàn bộ ngăn xếp suy luận gồm 2.81 tham số.
Lượt thích 7 · Số sao mã nguồn 7
Lý do
- Các tác giả tuyên bố rằng với ba hạt giống huấn luyện khác nhau, việc che đi tổn thất tái tạo khẩu hình gốc gây xung đột giúp cải thiện chỉ số Sync-C chéo âm thanh lên 0.833; mô hình hai bước cuối cùng thể hiện khả năng đồng bộ khẩu hình mạnh mẽ trên bốn tiêu chuẩn đánh giá, đồng thời cho chất lượng hình ảnh, độ giữ nguyên danh tính và nhận dạng giọng nói thị giác tốt hơn.
- Có thể tái tạo được: mã nguồn huấn luyện, trọng số (trên Hugging Face tại AIPeanutman/VidDub) và bộ tiêu chuẩn VidDub-Bench (256 đoạn video tổng hợp nguồn, với các cặp ghép cố định cùng âm thanh / đổi âm thanh) đều đã được công bố; video dài được xử lý theo cửa sổ trượt gồm 81 khung hình, bước nhảy 64 khung hình và độ chồng lấp 17 khung hình, đầu ra giữ nguyên tốc độ khung hình và độ phân giải gốc.
- Mô hình nền chỉ có 1.3B, nhẹ hơn nhiều so với các mô hình video lớn thường lên tới hàng chục B; số sao mã nguồn là 7 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- Sau khi thực hiện git clone https://github.com/LAW1223/VidDub, chạy pip install -r requirements.txt (yêu cầu Linux, Python 3.10+, FFmpeg, card đồ họa NVIDIA); sử dụng huggingface-cli download để tải riêng biệt Wan-AI/Wan2.1-VACE-1.3B, openai/whisper-small và AIPeanutman/VidDub vào thư mục weights/.
- Chạy lệnh python scripts/infer.py --model weights/VidDub --weight-root weights --video input.mp4 --audio replacement.wav --output output.mp4; video nguồn cần có khuôn mặt người có thể phát hiện được, hướng cơ bản về phía trước và chứa ít nhất 81 khung hình; âm thanh sẽ được lấy mẫu lại ở tần số 16 kHz; các video dài hơn sẽ tự động sử dụng chế độ cửa sổ (cũng có thể chỉ định thủ công bằng --mode windowed).
Rủi ro
- Không phải giấy phép mã nguồn mở: được phép sử dụng cho mục đích cá nhân và thương mại (bao gồm cả việc kiếm tiền từ sản phẩm hoàn thiện), cũng như cho nghiên cứu học thuật phi thương mại; nếu sử dụng dưới danh nghĩa công ty, hoặc triển khai làm dịch vụ lưu trữ như SaaS, API, ứng dụng web, bot... thì cần có sự cho phép bằng văn bản riêng.
- Việc chỉnh sửa khẩu hình thuộc nhóm năng lực deepfake, vui lòng chỉ xử lý các video mà bạn có quyền chỉnh sửa và ghi rõ là nội dung tổng hợp; các tác giả cũng nhắc nhở rằng dữ liệu huấn luyện chỉ được sử dụng các video hợp pháp và có thể xử lý. README không cung cấp yêu cầu về bộ nhớ VRAM.