Tiêu đề gốc: Oomni/mithi-v1-flash
Mô hình chuyển văn bản thành giọng nói quy mô nhỏ do Oomni phát hành, hỗ trợ 11 ngôn ngữ: Hindi, tiếng Anh, tiếng Bengal, tiếng Gujarati, tiếng Kannada, tiếng Malayalam, tiếng Marathi, tiếng Odia, tiếng Punjabi, tiếng Tamil, tiếng Telugu; hai giọng đọc Satvik (nam) và Charvi (nữ). Mô hình có 99.1M tham số, dung lượng 197 MB, đầu ra mono 24 kHz, được xây dựng dựa trên các thành phần mã nguồn mở như Kokoro-82M, Maya2-native và indic-bert. Tác giả cho biết trên CPU máy chủ (AMD EPYC 9554), một câu thoại dài khoảng 7 giây được tạo ra trong khoảng 8 giây khi chạy đơn luồng, và khoảng 3 giây khi chạy 4 luồng.
Tại sao quan trọng Dung lượng chưa tới 200 MB, không cần card đồ họa vẫn dùng được, giấy phép Apache cho phép sử dụng thương mại, cung cấp một điểm khởi đầu nhẹ nhàng cho các ứng dụng giọng nói thuộc các ngôn ngữ Ấn Độ
Điểm tăng 60 · Lượt thích 64 · Lượt tải 436
Lý do
- Có card đồ họa thì dùng card đồ họa, không có vẫn chạy được trên CPU, tác giả cho biết có thể chạy trên laptop, Raspberry Pi và điện thoại
- Có kèm bộ chuẩn hóa văn bản, số, thời gian và tiền tệ tự động được chuyển thành chữ; văn bản dài tự động đọc theo câu
- Giấy phép Apache-2.0 cho mô hình, cho phép sử dụng thương mại
Cách dùng
- hf download Oomni/mithi-v1-flash --local-dir mithi-v1-flash, vào thư mục và chạy pip install -r requirements.txt đồng thời tải mô hình tiếng Anh của spaCy
- python inference.py --lang hi --voice charvi --text "…" --out hindi.wav; trên CPU thêm --device cpu --threads 4
Rủi ro
- Tác giả cho biết chưa có bất kỳ đánh giá công khai nào, không có chỉ số tự động cũng như điểm đánh giá cảm nhận từ con người
- Ngữ điệu và cảm xúc khá phẳng, tốc độ đọc nhanh ở tiếng Kannada, tiếng Malayalam, tiếng Marathi và tiếng Odia, các tên riêng hiếm gặp và từ vay mượn có thể bị đọc sai
- Không hỗ trợ tiếng Trung; mục này chưa được chạy thử, hiệu quả thực tế dựa vào thẻ mô hình và mẫu âm thanh