Tiêu đề gốc: n4ze3m/tiny-voca
Mô hình TTS tiếng Anh được n4ze3m tải lên vào ngày 14 tháng 11, tác giả cho biết tổng cộng có 4,537,291 tham số bao gồm cả phần tạo dạng sóng, đầu ra là âm thanh đơn kênh ở tần số 24 kHz, với hai giọng tiếng Anh Mỹ: F2 (giọng nữ) và M2 (giọng nam). Nó sử dụng bộ tổng hợp nguồn-lọc thay vì vocoder thần kinh, dữ liệu huấn luyện khoảng 17.6 giờ, tất cả đều được tổng hợp bởi Qwen3-TTS, không có bản ghi âm giọng người thật; cung cấp trọng số PyTorch và phiên bản ONNX có thể chạy trong onnxruntime-web.
Tại sao quan trọng Toàn bộ mô hình chỉ có khoảng bốn đến năm triệu tham số, không cần GPU, phù hợp để thêm chức năng đọc văn bản tiếng Anh cho các ứng dụng ngoại tuyến, trang web hoặc thiết bị nhúng
Điểm tăng 77 · Lượt thích 77 · Lượt tải xuống 40
Lý do
- Tác giả cho biết tốc độ khoảng 70 lần thời gian thực trên 4 luồng CPU, thẻ mô hình ghi rõ có thể chạy trên điện thoại hoặc trình duyệt
- Bộ dữ liệu, mã huấn luyện và công cụ chuyển đổi âm vị dizione đều được công khai, tác giả cho biết toàn bộ dự án tốn 9.56 đô la trên một chiếc RTX 4090 thuê
- Thẻ mô hình cung cấp 4 mẫu âm thanh (mỗi giọng một nhóm), bảng tham số đầy đủ và các hạn chế
Cách sử dụng
- pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca,下载模型后设 DIZIONE_DATA=tiny-voca/phonemizer, sau đó dùng python -m tiny_voca.infer --checkpoint tiny-voca/tiny-voca.pt --voice F2 --text "…" --output hello.wav
- Có thể điều chỉnh --speed (tốc độ), --pitch-shift (0.058 khoảng một nửa cung), --pitch-range; văn bản dài sẽ được chia theo câu rồi ghép lại
- Phiên bản ONNX mỗi lần tối đa 512 âm vị, 32 giây, cần chuyển đổi sang âm vị bằng dizione trước; đầu ra đôi khi vượt quá 1.0, hãy thu phóng theo ví dụ trong thẻ mô hình trước khi lưu âm thanh 16 bit
Rủi ro
- Chỉ hỗ trợ tiếng Anh và hai giọng cố định, không thể sao chép giọng nói, không hỗ trợ streaming; cùng một câu luôn được đọc giống nhau mỗi lần, tên người nước ngoài và các cách viết hiếm gặp thường bị đọc sai
- Tác giả cho biết giọng nói rõ ràng nhưng hơi có cảm giác tổng hợp, F2 nghe trẻ hơn so với thiết kế; dữ liệu huấn luyện bản thân là giọng nói tổng hợp, độ tự nhiên sẽ không vượt quá Qwen3-TTS đã tạo ra nó
- Đánh giá chỉ dựa trên tỷ lệ lỗi nhận dạng Whisper cho 8–16 câu, tác giả giải thích đây chỉ là kiểm tra nội bộ, chưa thực hiện thử nghiệm nghe chính thức; mục này chưa chạy và chưa nghe thử