Tiêu đề gốc: Edge0/Audio8-TTS-Realistic-Air
Mô hình tổng hợp giọng nói được Edge0 tiếp tục huấn luyện trên Audio8-TTS-Preview-0.6b: Mô hình chính 0.6B (601,159,424 tham số, không bao gồm bộ mã hóa/giải mã 44.1 kHz đi kèm), tác giả cho biết giọng nói tự nhiên hơn và ngữ điệu biểu cảm hơn; hỗ trợ 23 ngôn ngữ, bổ sung thêm tiếng Ả Rập, Phần Lan, Hindi, Indonesia, Mã Lai, Na Uy, Bồ Đào Nha, Nga, Thụy Điển, Thái, Thổ Nhĩ Kỳ, Việt Nam so với bản Preview, tổng cộng 12 ngôn ngữ mới, bao gồm cả tiếng Trung, tiếng Quảng Đông, tiếng Anh, tiếng Nhật và tiếng Hàn. Có thể nhân bản giọng nói zero-shot bằng cách cung cấp một đoạn ghi âm tham khảo và bản phiên âm từng chữ, hoặc tổng hợp trực tiếp mà không cần tham khảo. Cấu trúc dựa trên DualAR của Fish Audio S2 Pro: AR chậm dự đoán một token ngữ nghĩa cho mỗi khung hình, AR nhanh dự đoán 10 codebook của khung hình đó. Được thêm vào kho lưu trữ vào ngày 14 tháng 10, các kỳ trước đó chưa được ghi nhận.
Điểm tăng 252 · Lượt thích 318 · Lượt tải 11349
Lý do
- Mô hình nhỏ, đa ngôn ngữ: Tác giả cho biết tỷ lệ lỗi trung bình tiếng Trung và tiếng Anh của Seed-TTS là 1.25% (bản Preview 1.23%), độ tương đồng người nói là 0.704 (bản Preview 0.682); tỷ lệ lỗi trên 8 ngôn ngữ chung của CV3 giảm từ 4.80% xuống 4.56%. Tác giả cũng ghi rõ các chỉ số này đo lường mức độ dễ hiểu và độ tương đồng, không trực tiếp đo lường "tính chân thực".
- Lộ trình triển khai hoàn chỉnh: Tải trực tiếp bằng Transformers (bộ mã hóa/giải mã đã được đóng gói, không cần tìm thêm), ngoài ra plugin SGLang Omni cung cấp cơ chế chú ý phân trang, xử lý lô động và giao diện /v1/audio/speech tương thích OpenAI; kho lưu trữ GitHub còn có các script dòng lệnh, xử lý lô và tinh chỉnh có giám sát.
- Giấy phép Apache-2.0, có Space dùng thử trực tuyến ZeroGPU; lượt thích trên Hugging Face là 318 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- pip install "torch>=2.5.0" "torchaudio>=2.5.0" "transformers>=4.57.0,<5" soundfile safetensors; AutoProcessor / AutoModel.from_pretrained('Edge0/Audio8-TTS-Realistic-Air', trust_remote_code=True), khi nhân bản giọng nói, cung cấp reference_audio và reference_text khớp chính xác từng chữ với bản ghi âm, sau khi chạy generate(max_new_tokens=1024, temperature=0.8, top_p=0.95, top_k=50, do_sample=True, return_dict_in_generate=True) thì dùng model.decode_audio(output.codes) để xuất ra tệp wav.
- Khi không cần giọng tham khảo, chỉ truyền text vào processor; bản ghi âm tham khảo phải sạch, văn bản dài nên chia thành nhiều đoạn trước khi tổng hợp (âm thanh tham khảo, bản phiên âm và văn bản mục tiêu chia sẻ cùng một ngữ cảnh). Để triển khai dưới dạng dịch vụ, sử dụng cấu hình sglang_omni audio8_tts_0_6b.yaml từ kho lưu trữ GitHub Edge0-AI/Audio8_TTS, điền đường dẫn mô hình là kho lưu trữ này.
Rủi ro
- Sự khác biệt giữa các ngôn ngữ là đáng kể: Trong bảng CV3 của tác giả, CER tiếng Trung là 1.814%, WER tiếng Anh là 2.907%, trong khi tiếng Thái là 48.574%, tiếng Phần Lan 32.279%, tiếng Việt 28.111%; CER trên các trường hợp khó của tiếng Trung thậm chí còn cao hơn một chút so với bản Preview (11.510% → 12.797%).
- Dịch vụ SGLang chỉ được xác minh là chạy được trên H20 (không stream, tắt torch.compile và CUDA Graph), chưa kiểm thử thông lượng và chế độ stream. Tác giả cảnh báo có thể xảy ra lỗi đọc, lặp từ, bỏ sót chữ hoặc dừng sớm, cần nghe thử từng mẫu trước khi sử dụng thành phẩm.
- Cần xin phép trước khi nhân bản giọng nói của người khác, và phải ghi rõ nguồn gốc âm thanh tổng hợp tùy theo ngữ cảnh sử dụng; tài liệu không đề cập đến việc nhúng watermark.