Mô hình tổng hợp giọng nói đa ngôn ngữ 0.6B của Edge0, là phiên bản cải tiến của Audio8-TTS-Preview: chỉ cần cung cấp một đoạn ghi âm tham chiếu cùng bản ghi lời nói từng chữ là có thể nhân bản giọng nói theo phương pháp zero-shot, cũng có thể tổng hợp trực tiếp mà không cần tham chiếu; hỗ trợ 23 ngôn ngữ bao gồm tiếng Trung, tiếng Quảng Đông, tiếng Anh, tiếng Nhật, tiếng Hàn, v.v. (nhiều hơn Preview 12 ngôn ngữ), đầu ra là âm thanh 44.1 kHz.
Tăng 118 · Lượt thích 119 · Lượt tải 813
Lý do
- Kế thừa cấu trúc DualAR của Fish Audio S2 Pro: bộ tự hồi quy chậm dự đoán một token ngữ nghĩa cho mỗi khung, bộ tự hồi quy nhanh bổ sung 10 mã hóa từ điển; mô hình chính có 601M tham số (không bao gồm bộ mã hóa/giải mã âm thanh 44.1 kHz đi kèm trong kho lưu trữ), kho lưu trữ đầy đủ các điểm kiểm tra, bộ mã hóa/giải mã, bộ tách từ và mã nguồn.
- Theo công bố chính thức, tỷ lệ lỗi tiếng Trung và tiếng Anh trên Seed-TTS là 1.25 (Preview 1.23), độ tương đồng giọng nói là 0.704 (Preview 0.682); tỷ lệ lỗi trên 24 ngôn ngữ của MiniMax là 5.89, tốt hơn 27.41 của Qwen3-TTS-1.7B, nhưng kém hơn Higgs Audio v3 cỡ 4B (2.74) và Fish S2 Pro (4.40). Nhà phát triển cũng ghi rõ các chỉ số này chỉ đo lường mức độ dễ hiểu và độ tương đồng giọng nói, không trực tiếp đo lường độ "chân thực".
- Có Playground Hugging Face không cần cài đặt, plugin SGLang Omni cung cấp giao diện /v1/audio/speech tương thích OpenAI; giấy phép Apache-2.0, chưa được liệt kê trong các số trước.
Cách sử dụng
- Dòng lệnh: git clone Edge0-AI/Audio8_TTS, pip install -r requirements.txt, python audio8_tts_infer.py --model Edge0/Audio8-TTS-Realistic-0.6b --text "văn bản cần tổng hợp" --output outputs/realistic.wav; để nhân bản giọng nói, thêm --reference-audio reference.wav --reference-text "bản ghi lời nói từng chữ của đoạn ghi âm tham chiếu" (phải khớp chính xác với nội dung ghi âm).
- Transformers (từ 4.57 trở lên, dưới 5, trust_remote_code=True): truyền text, reference_audio, reference_text vào processor, khi generate sử dụng temperature 0.8, top_p 0.95, top_k 50, sau đó dùng model.decode_audio để giải mã thành dạng sóng.
- Các đoạn dài cần được chia thành các câu ngắn: âm thanh tham chiếu, bản ghi lời nói và văn bản mục tiêu cùng chia sẻ ngữ cảnh gồm 2,048 vị trí.
Rủi ro
- Chất lượng giữa các ngôn ngữ chênh lệch lớn: trên CV3, tỷ lệ lỗi tiếng Thái là 48.574, tiếng Phần Lan là 32.279, trên tập dữ liệu MiniMax, tiếng Quảng Đông là 31.349; danh sách hỗ trợ không đồng nghĩa với việc các ngôn ngữ đều có chất lượng tương đương.
- Nhà phát triển chỉ kiểm tra khả năng chạy trên H20 BF16, chưa đo lường thông lượng và tính năng phát trực tiếp; có thể xảy ra lỗi đọc, lặp từ, bỏ sót chữ hoặc kết thúc sớm, nhà phát triển khuyến cáo nên nghe thử từng mẫu trước khi sử dụng thành phẩm. Chuyên mục này chưa nghe thử các mẫu ví dụ.
- Việc nhân bản giọng nói của người khác cần có sự cho phép, và cần ghi nhãn rõ ràng là âm thanh tổng hợp khi cần thiết.