Tiêu đề gốc: Edge0/Audio8-TTS-Realistic-Air
Mô hình tổng hợp giọng nói được tiếp tục huấn luyện từ Audio8-TTS-Preview-0.6b của Edge0, với mô hình chính có 6.01 tỷ tham số (không bao gồm bộ mã hóa/giải mã), sử dụng cấu trúc DualAR lấy cảm hứng từ Fish Audio S2 Pro: bộ biến đổi tự hồi quy chậm dự đoán một token ngữ nghĩa mỗi khung, còn bộ biến đổi tự hồi quy nhanh dự đoán 10 mã từ điển cho khung đó. Số ngôn ngữ hỗ trợ tăng từ 11 trong phiên bản xem trước lên 23, bổ sung tiếng Ả Rập, Phần Lan, Hindi, Indonesia, Mã Lai, Na Uy, Bồ Đào Nha, Nga, Thụy Điển, Thái, Thổ Nhĩ Kỳ và Việt Nam. Có thể thực hiện nhân bản giọng nói zero-shot bằng cách cung cấp bản ghi tham chiếu và bản chép lời, hoặc tổng hợp trực tiếp mà không cần tham chiếu; kho lưu trữ đi kèm bộ mã hóa/giải mã 44.1kHz.
Tại sao quan trọng Mô hình chính chỉ có sáu trăm triệu tham số, giấy phép Apache, tích hợp dịch vụ SGLang Omni và giao diện giọng nói tương thích OpenAI, phù hợp để lồng tiếng cục bộ hoặc hàng loạt
Điểm tăng 52.5 · Lượt thích 514 · Lượt tải 18680
Lý do
- Theo thông tin chính thức, tỷ lệ lỗi trung bình của Seed-TTS cho tiếng Trung và tiếng Anh là 1.25% (phiên bản xem trước là 1.23%), độ tương đồng giọng nói tăng từ 0.682 lên 0.704; tỷ lệ lỗi trung bình trên chín ngôn ngữ của CV3 là 4.86%
- Nhà phát triển liệt kê tỷ lệ lỗi theo từng ngôn ngữ cụ thể, không chỉ đưa ra con số trung bình: các ngôn ngữ mới như tiếng Thái, Phần Lan, Việt Nam có tỷ lệ lỗi cao hơn trên CV3
- Có Space dùng thử trực tuyến ZeroGPU; tích hợp SGLang Omni hỗ trợ cơ chế chú ý phân trang, xử lý lô động và giao diện /v1/audio/speech
Cách sử dụng
- Sau khi cài đặt torch, transformers (phiên bản từ 4.57 trở lên, dưới 5) và soundfile qua pip, sử dụng AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True); khi nhân bản giọng nói, hãy truyền vào reference_audio và reference_text khớp chính xác
- Đối với dịch vụ hàng loạt, hãy làm theo hướng dẫn sglang_omni trong kho GitHub Edge0-AI/Audio8_TTS, sử dụng tệp cấu hình audio8_tts_0_6b.yaml và thay đổi đường dẫn mô hình sang kho này
Rủi ro
- Chất lượng giữa các ngôn ngữ chênh lệch đáng kể, tỷ lệ lỗi của tiếng Quảng Đông và một số ngôn ngữ mới bổ sung khá cao; nhà phát triển cảnh báo về khả năng đọc sai, lặp từ, bỏ sót hoặc dừng sớm, cần nghe kiểm tra thủ công trước khi sử dụng thành phẩm
- Nhà phát triển lưu ý rằng các chỉ số này chỉ đo lường mức độ dễ hiểu và độ tương đồng giọng nói, không trực tiếp đánh giá độ "chân thực"; so sánh với các mô hình khác đến từ các quy trình đánh giá khác nhau, chỉ mang tính tham khảo
- Cần sử dụng trust_remote_code để chạy mã tùy chỉnh; việc nhân bản giọng nói phải có sự cho phép; mục này chưa được chạy thử