Tiêu đề gốc: owensong/Inflect-Mini-v3
Mô hình tổng hợp giọng nói tiếng Anh v3 do Owen Song tải lên vào ngày 10 tháng 11, thẻ mô hình cho biết lõi có 34.31 triệu tham số (trọng số FP32 dung lượng 138.4 MB), đầu ra gốc ở tần số 24 kHz, tùy chọn bộ tăng cường 2.85 triệu tham số để xuất ra 48 kHz. Tích hợp sẵn sáu giọng: cassidy, mark, hope, james, sophia và jasper; hỗ trợ [laugh], [sigh], [gasp] cùng 8 loại nhãn sự kiện âm thanh khác; Voice Tuner có thể tạo hồ sơ giọng nói tái sử dụng được từ các bản ghi âm đã được cấp phép dài 5–15 giây. Kho lưu trữ là gói suy luận đầy đủ, giấy phép Apache-2.0.
Tại sao quan trọng Kích thước nhỏ gọn, giấy phép Apache cho phép sử dụng thương mại, có thể tạo giọng nói cục bộ ngay trên CPU, phù hợp để làm lời dẫn chuyện, hướng dẫn thao tác và đọc văn bản ngoại tuyến
Điểm tăng thêm 42 · Lượt thích 42 · Lượt tải xuống 590
Lý do
- Đánh giá tự thực hiện bởi tác giả: tỷ lệ lỗi từ trung bình trên sáu giọng là 0.739% (mỗi giọng được kiểm tra trên 1,688 đoạn văn bản), điểm UTMOS22Strong là 4.479; tác giả lưu ý rằng đây không phải là bài dự thi chính thức trên bảng xếp hạng và không thể so sánh trực tiếp với các con số từ Kokoro hay những bảng xếp hạng khác
- Tác giả cho biết trên RTX 5090 với đường dẫn CUDA được tối ưu hóa, tốc độ đạt khoảng 162 lần thời gian thực; trên Ryzen 9 3900X với 2 luồng, tốc độ đạt khoảng 1.81 lần thời gian thực
- Cùng dòng sản phẩm còn có Micro v3 với 11.79 triệu tham số và Atom v3 với 157.19 nghìn tham số; GitHub cũng cung cấp bộ công cụ huấn luyện để điều chỉnh Mini sang các ngôn ngữ khác
Cách sử dụng
- Python 3.12 trong môi trường mới: dùng lệnh hf download owensong/Inflect-Mini-v3 để tải toàn bộ kho lưu trữ, chạy verify_release.py để xác minh, cài đặt core/requirements-cpu.txt, sau đó chạy python run.py speech --voice cassidy --text "..." --output out.wav
- Sự kiện âm thanh: trước tiên cài các phụ thuộc trong extras/events, sau đó chạy python run.py events --voice cassidy --text "... [laugh] ..." (chỉ khả dụng trên CPU và ở tần số 24 kHz); để có đầu ra 48 kHz, hãy dùng --profile enhanced
- GPU: tạo một môi trường riêng và cài core/requirements-cuda.txt, thêm các tham số --device cuda --runtime cuda-source; có thể nghe thử trực tuyến tại Space owensong/Inflect-v3
Rủi ro
- Chỉ hỗ trợ tiếng Anh; các nhãn sự kiện không thay đổi cảm xúc của câu trước hoặc sau, và không có điều khiển phong cách như thì thầm hay tức giận
- Voice Tuner chỉ hỗ trợ đăng ký trên CPU Linux, độ giống nhau phụ thuộc vào bản ghi âm, tác giả tuyên bố không đảm bảo tái tạo chính xác giọng gốc; chỉ được sử dụng các giọng đã được cấp phép
- Tỷ lệ lỗi từ và điểm chất lượng âm thanh đều do tác giả tự đánh giá, dữ liệu kiểm thử đã từng được dùng trong quá trình phát triển; bộ tăng cường có thể gây ra tiếng ù nhẹ trên một số mẫu. Mục này chưa được chạy thử