Kitten TTS 2 Mini: Tổng hợp giọng nói đa ngôn ngữ chạy được trên CPU

KittenML tải lên vào ngày 13 tháng 11: 82M tham số, 16 ngôn ngữ, 118 giọng điệu, đầu ra 24 kHz. Cung cấp hai loại trọng số ONNX là int8 (82.7 MB) và int4 (47.5 MB), cả hai đều chạy được trên CPU mà không cần PyTorch, kèm theo trọng số PyTorch float32. Tiếng Anh có 11 giọng điệu nhân vật với mô tả tính cách (nhà sử học, phóng viên radio, bình luận viên thể thao, v.v.), các giọng điệu cùng tên cũng có thể nói tiếng Đức, Tây Ban Nha, Ý, Bồ Đào Nha và Nga; các ngôn ngữ khác mỗi loại có từ 2 đến 8 giọng điệu được đánh số. Mô hình, gói giọng điệu và tệp G2P đều thuộc giấy phép Apache-2.0.

Tiêu đề gốc: KittenML/kitten-tts-2-mini

KittenML tải lên vào ngày 13 tháng 11: 82M tham số, 16 ngôn ngữ, 118 giọng điệu, đầu ra 24 kHz. Cung cấp hai loại trọng số ONNX là int8 (82.7 MB) và int4 (47.5 MB), cả hai đều chạy được trên CPU mà không cần PyTorch, kèm theo trọng số PyTorch float32. Tiếng Anh có 11 giọng điệu nhân vật với mô tả tính cách (nhà sử học, phóng viên radio, bình luận viên thể thao, v.v.), các giọng điệu cùng tên cũng có thể nói tiếng Đức, Tây Ban Nha, Ý, Bồ Đào Nha và Nga; các ngôn ngữ khác mỗi loại có từ 2 đến 8 giọng điệu được đánh số. Mô hình, gói giọng điệu và tệp G2P đều thuộc giấy phép Apache-2.0.

Tại sao quan trọng Phiên bản int4 chưa đầy năm mươi MB, có thể chạy trên CPU, giấy phép Apache cho phép sử dụng thương mại, phù hợp để đọc văn bản ngoại tuyến và lồng tiếng đa ngôn ngữ

Điểm tăng 35 · Lượt thích 35 · Lượt tải xuống 3887

Lý do

  • Hỗ trợ tổng cộng 16 ngôn ngữ bao gồm tiếng Anh, Đức, Tây Ban Nha, Ý, Bồ Đào Nha, Nga, Hindi, Đan Mạch, Phần Lan, Pháp, Nhật, Hàn Quốc, Hà Lan, Thụy Điển, Swahili và Thổ Nhĩ Kỳ
  • Cài đặt chỉ với một dòng lệnh pip install kittenml, chỉ tải xuống các tệp cần thiết dựa trên backend và định dạng trọng số đã chọn
  • Có thể chỉ định giọng điệu bằng tên hoặc mô tả, tham số speed để điều chỉnh tốc độ nói

Cách sử dụng

  • pip install kittenml; sau khi gọi KittenTTS("KittenML/kitten-tts-2-mini"), dùng generate(văn_bản, voice="Eleanor"), xuất ra tệp với tần số 24000 Hz bằng thư viện soundfile
  • Đổi ngôn ngữ: chọn giọng điệu của ngôn ngữ đó cho tham số voice, hoặc chỉ cần truyền language="de" để sử dụng giọng điệu đầu tiên của ngôn ngữ đó; thêm tham số language= vào các giọng điệu tiếng Anh để nói tiếng Đức, Tây Ban Nha, Ý, Bồ Đào Nha và Nga
  • weights="int4" để sử dụng phiên bản int4 (yêu cầu onnxruntime từ 1.20 trở lên); backend="torch", device="cuda" để chạy trọng số float32 trên GPU

Rủi ro

  • Không hỗ trợ tiếng Trung; không có đánh giá về chất lượng âm thanh hoặc tỷ lệ lỗi, cũng không hỗ trợ nhân bản giọng nói
  • Các ngôn ngữ ngoài tiếng Anh chủ yếu là các giọng điệu được đánh số như Female 1, Male 1, không có mô tả phong cách. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất