Mô hình tổng hợp giọng nói trực tiếp của Maya Research: hỗ trợ 11 ngôn ngữ Ấn Độ và tiếng Anh, xuất giọng nói đơn kênh ở tần số 24 kHz, tích hợp sẵn 20 giọng tổng hợp, đồng thời có thể nhân bản giọng nói zero-shot từ âm thanh tham chiếu dài 3–10 giây và sử dụng xuyên ngôn ngữ (ví dụ: dùng âm thanh tham chiếu tiếng Hindi để nói tiếng Tamil).
Tăng hạng 72 · Lượt thích 72 · Lượt tải 0
Lý do
- Chính thức công bố mô hình có 2.50B tham số (khoảng 5.0 GB trọng số BF16): phần lõi được khởi tạo từ Qwen3-1.7B-Base, thêm bộ giải mã độ sâu (depth decoder) khoảng 555M tham số, sử dụng bộ mã hóa/giải mã Kyutai Mimi, xuất một khung âm thanh mỗi 80 ms, cho phép phát trong khi đang tạo.
- Đánh giá chính thức sử dụng 6,000 văn bản giữ lại (gồm 12 ngôn ngữ, 31 loại nội dung, tổng cộng 20.3 giờ giọng nói): tỷ lệ lỗi ký tự tổng thể (CER) của ba hệ thống đánh giá ASR nằm trong khoảng từ 2.86% đến 3.49% (scorer v1); các URL và văn bản trộn lẫn tiếng Anh trong các ngôn ngữ Ấn Độ vẫn còn khó xử lý, tỷ lệ lỗi ký tự ASR-1 cho loại URL là 29.06%.
- Chính thức công bố trên một card H100 NVL hỗ trợ 224 luồng WebSocket đồng thời, độ trễ gói đầu tiên ở trạng thái ổn định p50 là 111 ms; xếp hạng thứ 2 trên bảng xếp hạng TTS trực tiếp tiếng Hindi của VoiceArena tính đến ngày 27 tháng 10. Kho lưu trữ được tạo vào ngày 26 tháng 10, trước đó chưa được liệt kê trong các kỳ đánh giá.
Cách sử dụng
- Môi trường: Linux, Python 3.10–3.12, GPU NVIDIA hỗ trợ CUDA 12.8; pip install "maya3[server] @ git+https://github.com/MayaResearch/maya2-native" --extra-index-url https://download.pytorch.org/whl/cu128（包名和类名仍叫 maya3 / Maya3TTS).
- Python: tts = Maya3TTS.from_pretrained("maya-research/maya2-native", max_seats=1); tts.generate(văn_bản, lang="hi", voice="Ahana", normalize=True) trả về dạng sóng ở tần số 24 kHz; giao diện Python yêu cầu truyền thủ công normalize=True để chuyển đổi số, tiền tệ và ngày tháng thành cách đọc nói, sử dụng tts.stream(...) cho chế độ trực tiếp.
- Nhân bản giọng: tts.register_voice("my_voice", ref_audio=âm_thanh_tham_chiếu, ref_text=bản_ghi_chính_xác_từng_từ, lang=ngôn_ngữ_tham_chiếu), khi tạo giọng điền ngôn ngữ đích vào tham số lang; máy chủ: python -m maya3.server --ckpt maya-research/maya2-native --port 8080 --max-seats 1, cung cấp giao diện /v1/audio/speech tương thích OpenAI và giao diện trực tiếp WebSocket.
Rủi ro
- Không hỗ trợ tiếng Trung; không có giọng tích hợp sẵn nào có dữ liệu huấn luyện tiếng Assam vượt quá 1 giờ, có thể mang giọng điệu tiếng Bengal; giọng nói không ổn định với các câu ngắn chỉ gồm một hoặc hai từ.
- Chính thức công bố mức sử dụng bộ nhớ đỉnh khi tải một luồng là khoảng 9.2 GB (chưa tính ngữ cảnh CUDA), khuyến nghị card đồ họa từ 12 GB trở lên; máy chủ đi kèm không có xác thực, cần tự thêm bảo mật trước khi mở ra công chúng.
- Không nhúng watermark âm thanh, chính thức yêu cầu chỉ nhân bản giọng của chính mình hoặc giọng đã được ủy quyền; độ tương đồng khi nhân bản không được đánh giá riêng biệt, tất cả điểm số đều dựa trên ASR và chấm điểm tự động bằng dấu vết giọng nói (voiceprint), không có đánh giá độ tự nhiên bởi con người, cũng không có so sánh với các hệ thống TTS khác.