Tiêu đề gốc: FluidVoice-Labs/fluid-speech-pro
Mô hình nhận dạng giọng nói do nhóm FluidVoice tải lên vào ngày 30 tháng 10, dựa trên NVIDIA Parakeet TDT 0.6B v3. Thẻ mô hình ghi nhận có 0.63 tỷ tham số, hỗ trợ 25 ngôn ngữ châu Âu (bao gồm tiếng Anh, Đức, Pháp, Tây Ban Nha, Nga, Ukraine, v.v., không bao gồm tiếng Trung), tự động nhận diện ngôn ngữ mà không cần chỉ dẫn, và đầu ra có dấu câu và viết hoa. Cung cấp năm phiên bản: NeMo / Transformers, ONNX, MLX, GGUF và Core ML, kèm tùy chọn "chế độ làm sạch" để loại bỏ các từ lặp lại và những từ đệm như "ừ", "à". Giấy phép CC BY 4.0.
Tại sao quan trọng Quy mô nhỏ, giấy phép cho phép sử dụng thương mại, cùng với các phiên bản ONNX, MLX, GGUF và Core ML giúp chạy được trên CPU và máy Mac, phù hợp cho phụ đề, ghi chép cuộc họp và chính tả.
Điểm tăng 46 · Lượt thích 49 · Lượt tải xuống 8951
Lý do
- Thẻ mô hình cho biết xếp hạng thứ 2 trong số các mô hình mở trên Open ASR Leaderboard, với tỷ lệ lỗi từ trung bình là 6.06, đây là mô hình mở chính xác nhất dưới 10 tỷ tham số; trên bộ dữ liệu giọng nói ồn ào URGENT 2024, tỷ lệ lỗi từ là 9.83.
- Tác giả tuyên bố tốc độ khoảng 3,700 lần thời gian thực trên một GPU, chuyển đổi một giờ âm thanh chỉ trong khoảng một giây; các phiên bản ONNX, MLX và GGUF có thể chạy trên CPU và chip Apple.
- So với mô hình nền tảng Parakeet TDT 0.6B v3: trên bảng xếp hạng đa ngôn ngữ, tất cả 7 ngôn ngữ đều cải thiện hơn, trung bình giảm 12% lỗi; trên FLEURS, trung bình giảm khoảng 20% lỗi cho 24 ngôn ngữ ngoài tiếng Anh.
Cách sử dụng
- Transformers 5.22+: pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro"), truyền vào âm thanh đơn kênh tần số 16 kHz.
- Để có dấu thời gian hoặc chế độ làm sạch, hãy dùng NeMo: pip install "nemo_toolkit[asr]", tải về file fluid_speech.py từ kho lưu trữ này bằng lệnh hf download, sau đó gọi fluid_speech.load("FluidVoice-Labs/fluid-speech-pro", map_location="cuda", clean_mode=True); hàm transcribe([...], timestamps=True) sẽ trả về thời gian cho từng từ.
- Để giải mã giống như trên bảng xếp hạng: đặt decoding.strategy thành malsd_batch và beam_size thành 4 (tác giả tuyên bố trung bình giảm khoảng 0.6% lỗi); dùng fluid-speech-pro-onnx cho CPU, fluid-speech-pro-mlx cho Mac và fluid-speech-pro-gguf cho C++.
Rủi ro
- Không hỗ trợ tiếng Trung; các số liệu về xếp hạng và tốc độ do tác giả cung cấp trong thẻ mô hình, tác giả cũng khuyến nghị nên thử nghiệm trước với âm thanh, giọng điệu và ngôn ngữ cụ thể của bạn.
- Phiên bản Transformers đã loại bỏ một mô-đun nhỏ và chỉ sử dụng giải mã tham lam (greedy decoding), tác giả cho biết kết quả gần như tương đương với phiên bản NeMo; phiên bản GGUF không có chế độ làm sạch, còn phiên bản Core ML hiện chưa được hỗ trợ.
- Chế độ làm sạch sẽ viết lại lời nói gốc, vì vậy đừng bật nếu bạn cần ghi chép nguyên văn; khi sử dụng theo giấy phép CC BY 4.0, phải ghi công Fluid Speech Pro by FluidVoice. Mục này chưa được chạy thử nghiệm.