zerre-tts là mô hình tổng hợp giọng nói tiếng Thổ Nhĩ Kỳ được một tác giả trong cộng đồng huấn luyện từ đầu, với khoảng 450 triệu tham số, hai âm sắc (một nam và một nữ), tần số lấy mẫu đầu ra 24 kHz; phiên bản ONNX int8 có dung lượng 8.5 MB, có thể chạy trong trình duyệt bằng WebAssembly, cũng như sử dụng ONNX Runtime hoặc PyTorch. Dữ liệu huấn luyện bao gồm hai bộ ngữ liệu sách nói tiếng Thổ Nhĩ Kỳ công khai (giữ lại khoảng 11.9 giờ), được huấn luyện trên một GPU L4 trong khoảng 6.5 giờ. Tác giả cho biết tỷ lệ lỗi từ (WER) là 1.3% trên 20 đoạn dữ liệu kiểm tra giữ lại, và 12.7% trên 8 câu mới.
Tại sao quan trọng Tác giả tuyên bố mô hình này nhỏ hơn so với các mô hình mã nguồn mở tiếng Thổ Nhĩ Kỳ cùng loại, đồng thời cho phép sử dụng thương mại; kiến trúc được cải tiến từ tiny-voca, phù hợp để tích hợp trực tiếp vào trang web.
Lượt thích (Hug) 3 · Điểm Hug tăng 2 · Lượt tải xuống (Hug) 0
Giấy phép: Được phép sử dụng thương mại · ComfyUI: Chưa có · VRAM: Không ghi rõ VRAM
Lý do
- Apache-2.0, được phép sử dụng thương mại; có bản demo trực tuyến, mã nguồn và phương pháp huấn luyện được công khai trên GitHub
Cách sử dụng
- Trước tiên, hãy thử nghiệm trên bản demo trực tuyến của tác giả; sau đó clone github.com/erkinemreta1/zerre-tts về máy cục bộ và chạy lệnh python -m zerre.infer --checkpoint inference.pt --lang tr --text "Merhaba dünya." --voice MK --output hello.wav
Rủi ro
- Bộ dữ liệu đánh giá rất nhỏ (20 đoạn, 8 câu), tác giả cũng thừa nhận chỉ có thể dùng để kiểm tra sơ bộ; việc so sánh với các mô hình khác không sử dụng cùng một bộ dữ liệu kiểm thử
- Chỉ có hai giọng cố định, không hỗ trợ nhân bản giọng nói và truyền phát trực tiếp (streaming); giọng đọc mang tính đọc diễn cảm, hạn chế trong việc thể hiện ngữ điệu nghi vấn và cảm thán, thường đọc sai tên riêng nước ngoài và từ viết tắt; cần cài đặt thêm eSpeak NG để hỗ trợ phiên âm