AURA là mô hình avatar âm thanh trực tiếp do Kyutai và Đại học Sorbonne phát triển (bài báo arXiv 2611.26540): chưng cất mô hình giáo viên hai chiều gồm 50 bước thành mô hình học sinh nhân quả gồm 4 bước cho mỗi đoạn, sử dụng bộ nhớ đệm KV dạng trượt để tạo sinh theo từng đoạn, chỉ cần âm thanh của đoạn hiện tại. Phiên bản 1.3B sử dụng Wan2.1-T2V-1.3B làm nền tảng, mã hóa âm thanh bằng Mimi, 576p, là phiên bản duy nhất trong gia đình có khả năng hoạt động theo thời gian thực; ngoài ra còn có AURA-5B dựa trên Snap TalkVerse (720p, bài báo cho biết đạt 9.7 khung hình mỗi giây trên một card H100). Cả hai đều cung cấp trọng số độc lập đã được hợp nhất và các điểm kiểm tra huấn luyện chỉ chứa LoRA, đồng thời bộ dữ liệu quá trình huấn luyện cũng đã được công khai.
Tại sao quan trọng Xuất hình ảnh ngay khi nhận âm thanh theo từng đoạn nhỏ, không cần chờ toàn bộ đoạn thoại; bài báo cho biết đạt 20.7 khung hình mỗi giây end-to-end trên một card H100, nhanh hơn mô hình giáo viên 23 lần.
Lượt thích 🤗 7 · Lượt tăng hạng 🤗 7 · Lượt tải xuống 🤗 0
Giấy phép: Phi thương mại · ComfyUI: Chưa có · VRAM: Không ghi rõ
Lý do
- Có kèm bài báo, kho mã và cấu hình huấn luyện, nhật ký chỉ số huấn luyện, có thể tái tạo
- Thẻ mô hình cung cấp các ví dụ cùng một đoạn thoại với ba chân dung khác nhau
Cách sử dụng
- Nhân bản kyutai-labs/aura và chạy uv sync, tải về stage2_dmd/step-6500_ema_merged.safetensors (khoảng 6.3 GB), sau đó lấy VAE và bộ mã hóa văn bản T5 từ Wan2.1-T2V-1.3B, làm theo hướng dẫn trong kho mã để nhập một chân dung và một đoạn thoại
Rủi ro
- 1.3B sử dụng giấy phép CC BY-NC 4.0, 5B sử dụng giấy phép phi thương mại của Snap, cả hai đều không được phép sử dụng cho mục đích thương mại
- Có thể tạo video nói chuyện từ bất kỳ chân dung nào, chỉ nên sử dụng hình ảnh của chính bạn hoặc người đã được cấp phép, và ghi rõ là do AI tạo ra khi công bố
- Các số liệu thời gian thực được đo trên card H100 trong bài báo, tốc độ và VRAM trên card đồ họa tiêu dùng không được ghi trong thẻ mô hình; hiện chưa có hỗ trợ cho ComfyUI