Tiêu đề gốc: AURA: AUdio-dRiven streaming Avatar
Mô hình avatar nói chuyện theo luồng của nhóm Kyutai (Pháp) và các cộng sự: đầu vào là một ảnh chân dung và âm thanh, video được tạo từng đoạn, mỗi đoạn chỉ cần âm thanh của chính đoạn đó. Cách làm là chưng cất mô hình giáo viên hai chiều gồm 50 bước thành mô hình học sinh nhân quả gồm 4 bước; trước tiên cho học sinh căn chỉnh theo quỹ đạo của giáo viên dưới cơ chế chú ý nhân quả cửa sổ trượt, sau đó dùng phương pháp chưng cất khớp phân phối (DMD) có mô phỏng ngược để cải thiện chất lượng hình ảnh; bộ nhớ đệm KV dạng cuộn chỉ giữ lại đoạn đầu tiên làm neo định danh cùng với đoạn gần nhất, nên bộ nhớ hiển thị không tăng khi tạo luồng trong thời gian dài. Bài báo cáo phiên bản 1.3B xuất video theo thời gian thực ở độ phân giải 576p trên một GPU đơn, phiên bản 5B xuất ở độ phân giải 720p, nhanh hơn lần lượt 23 và 17 so với các mô hình giáo viên tương ứng.
Tại sao quan trọng Các phương pháp tạo video từ âm thanh trước đây cần hàng chục bước khử nhiễu và phải có sẵn âm thanh phía sau, khó tích hợp vào trợ lý giọng nói; phương pháp này tạo từng đoạn, mô hình cỡ nhỏ chỉ cần một card GPU là có thể xuất hình ảnh theo thời gian thực
Lượt thích 1 · Số sao mã nguồn 0
Lý do
- Phát hành hai mô hình AURA-1.3B và AURA-5B, mô hình giáo viên của phiên bản 1.3B, cùng với bộ dữ liệu gồm 3 vạn video tổng hợp và các quỹ đạo giáo viên đã được tính toán trước
- Bảng thử nghiệm trong README: trên các tập kiểm tra HALLO3 và CelebV-HQ, phiên bản 1.3B đạt chỉ số giữ nguyên danh tính (CSIM) cao nhất trong tất cả các phương pháp so sánh; trong nghiên cứu người dùng, phiên bản 5B vượt trội hơn Hallo3 ở cả bốn tiêu chí: chất lượng hình ảnh, khớp khẩu hình, độ trung thực và độ tự nhiên
- Có thể kết hợp với mô hình giọng nói Unmute của chính Kyutai để tạo ra nhân vật ảo có khả năng trò chuyện, trang web chính thức có demo trực tuyến
Cách sử dụng
- Mã nguồn: https://github.com/kyutai-labs/aura;权重:https://huggingface.co/kyutai/AURA-1.3B , https://huggingface.co/kyutai/AURA-5B;演示:https://aura.kyutai.org/
- Yêu cầu card đồ họa CUDA và công cụ uv: sau khi git clone, chạy uv sync, rồi chạy uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4; thêm --model aura-5b để dùng phiên bản 5B, thêm --compile để tăng tốc độ, --num_chunks để kiểm soát độ dài
- Giao diện Python: from aura import Aura; Aura("aura-1.3b").generate(ảnh, âm thanh) trả về từng đoạn tensor video; hiệu quả tốt nhất với ảnh chân dung vuông hoặc ngang mà khuôn mặt chiếm phần lớn khung hình
Rủi ro
- Cả hai trọng số đều có giấy phép phi thương mại: phiên bản 1.3B theo CC BY-NC 4.0, phiên bản 5B theo giấy phép phi thương mại của Snap (có nguồn gốc từ TalkVerse-S2V-5B)
- Tốc độ thời gian thực trong bài báo được đo trên H100 với quy trình tối ưu hóa; README cho biết khi dùng mã nguồn trong kho kèm --compile, phiên bản 1.3B đạt khoảng 16 fps, phiên bản 5B đạt khoảng 8 fps. Mục này chưa được chạy thử
- Có thể tạo video người thật nói bất kỳ nội dung nào, tác giả yêu cầu chỉ sử dụng ảnh đã có sự đồng ý của chủ nhân, ghi rõ là do AI tạo ra, không được mạo danh người khác hoặc lan truyền tin đồn thất thiệt