kale-tts-1-nano

kale-tts-1-nano chỉ có 750 nghìn tham số, tệp int8 dùng cho CPU nặng 14.8 MB, tệp fp32 dùng cho WebGPU trên trình duyệt nặng 30.6 MB. 10 giọng nói được thiết kế bởi Maya-1 dựa trên một mô tả văn bản duy nhất và không tương ứng với người thật; trước tiên thu âm 204.7 giờ giọng nói huấn luyện bằng Maya-1, sau đó chắt lọc phần lập kế hoạch nhịp điệu từ kale-tts-1-base (được tinh chỉnh dựa trên Kokoro-82M), phần tạo âm thanh là một bộ sinh hài hòa kết hợp nhiễu quy mô nhỏ, không sử dụng khuếch tán hoặc khớp dòng chảy. Tác giả tuyên bố rằng trên CPU của Samsung Galaxy Tab S10 Lite, tốc độ đạt 44 lần thời gian thực, câu đầu tiên phát ra sau 0.09 giây, số từ mà bộ nhận dạng không chắc chắn chỉ nhiều hơn giọng gốc của Maya-1 1.6 điểm phần trăm.

kale-tts-1-nano chỉ có 750 nghìn tham số, tệp int8 dùng cho CPU nặng 14.8 MB, tệp fp32 dùng cho WebGPU trên trình duyệt nặng 30.6 MB. 10 giọng nói được thiết kế bởi Maya-1 dựa trên một mô tả văn bản duy nhất và không tương ứng với người thật; trước tiên thu âm 204.7 giờ giọng nói huấn luyện bằng Maya-1, sau đó chắt lọc phần lập kế hoạch nhịp điệu từ kale-tts-1-base (được tinh chỉnh dựa trên Kokoro-82M), phần tạo âm thanh là một bộ sinh hài hòa kết hợp nhiễu quy mô nhỏ, không sử dụng khuếch tán hoặc khớp dòng chảy. Tác giả tuyên bố rằng trên CPU của Samsung Galaxy Tab S10 Lite, tốc độ đạt 44 lần thời gian thực, câu đầu tiên phát ra sau 0.09 giây, số từ mà bộ nhận dạng không chắc chắn chỉ nhiều hơn giọng gốc của Maya-1 1.6 điểm phần trăm.

Tại sao quan trọng Được huấn luyện để tạo giọng nói hoàn toàn cục bộ cho thiết bị trẻ em, một tệp duy nhất, một lần truyền về phía trước tạo ra một câu; dữ liệu giọng nói của 10 giọng dùng để huấn luyện cũng được công khai theo giấy phép CC BY 4.0.

Lượt thích trên Hugging Face: 14 · Điểm tăng hạng trên Hugging Face: 14 · Lượt tải xuống trên Hugging Face: 256

Giấy phép: Có thể sử dụng thương mại · ComfyUI: Chưa có · VRAM: Không ghi rõ dung lượng VRAM

Lý do

  • Có bản demo trực tuyến trên Hugging Face, cho phép nghe thử tất cả các giọng; bộ dữ liệu huấn luyện kale-tts-1-data được công khai
  • Giấy phép Apache-2.0, có thể sử dụng thương mại; nếu muốn chất lượng âm thanh tốt hơn, có thể chuyển sang phiên bản lớn hơn một chút cùng dòng là kale-tts-1-tiny

Cách dùng

  • Trước tiên hãy nghe thử trong Space KaleComputer/kale-tts-1 trên Hugging Face, sau đó tải tệp kale-tts-1-nano.onnx và chạy trên máy cục bộ bằng ONNX Runtime (trên trình duyệt sử dụng tệp fp32 thông qua WebGPU)

Rủi ro

  • Chỉ hỗ trợ tiếng Anh; ngữ điệu vẫn còn khác biệt so với giọng gốc của Maya-1 (tác giả cho biết khoảng cách về giai điệu là 7.46 điểm phần trăm)
  • Phần đầu của thẻ mô hình vẫn còn ghi chú "bản nháp, chưa phát hành", nội dung có thể sẽ thay đổi; các con số hiệu năng đều do tác giả tự kiểm tra

Mở

抱脸 text-to-speech 上升榜

Xem tin AI mới nhất