Mô hình nhận dạng giọng nói tiếng Nhật của Third Intelligence: Kế thừa kiến trúc của NVIDIA Parakeet-TDT (bộ mã hóa FastConformer + bộ giải mã TDT, có thể bỏ qua nhiều khung hình trong một lần khi giải mã), thay thế LSTM trong mạng dự đoán bằng Kimi Delta Attention của Kimi Linear, theo thông tin chính thức thì độ chính xác cao hơn và tốc độ gần như không đổi. Quá trình huấn luyện sử dụng khoảng 46,000 giờ dữ liệu công khai (ReazonSpeech, Common Voice, YODAS) cùng với dữ liệu nội bộ. Trọng số được tải lên vào ngày 22 tháng 10, không được đưa vào trong 7 kỳ gần nhất.
Điểm tăng 54 · Lượt thích 55 · Lượt tải 1532
Lý do
- Chính thức đo được CER strict có trọng số là 6.12% trên asr-ja-bench v1.1 do họ tự xây dựng và công khai (5 bộ dữ liệu công khai, 23.38 giờ, dữ liệu đánh giá hoàn toàn không nằm trong dữ liệu huấn luyện), đây là mức thấp nhất trong số các mô hình mã nguồn mở được kiểm tra, tương đương với GPT-Transcribe (6.07%); MAI-Transcribe 2, Scribe v2, Gemini 3.1 Pro chính xác hơn.
- Tốc độ: Theo thông tin chính thức, RTFx là 3,236 trên một GPU H200, nhanh gần bằng Parakeet (3,407) nhưng CER strict thấp hơn khoảng 1.1 điểm, nhanh hơn khoảng 15–17 lần so với Nemotron 3.5 Transcribe và Whisper large-v3; ước tính theo giá theo yêu cầu của GPU H200 tại khu vực Nhật Bản, chi phí chuyển đổi một giờ âm thanh khoảng 0.003–0.004 đô la.
- Đầy đủ các tính năng thực dụng: Chia nhỏ và chuyển đổi hàng loạt các tệp âm thanh dài dựa trên khoảng lặng; có thể thêm từ điển tùy chỉnh cho tên riêng và thuật ngữ (cách viết tương ứng với cách đọc), theo thông tin chính thức thì tốn thêm khoảng 1.3 lần thời gian; kết hợp với NVIDIA Nemotron-3-Diarization có thể tạo ra bản ghi có nhãn người nói.
Cách sử dụng
- pip install "haas-asr @ git+https://github.com/third-intelligence/Haas-ASR.git", sau đó model = haas_asr.load_model("third-intelligence/Haas-ja-v1.0"), audio = haas_asr.load_audio("example.wav"), model.transcribe([audio]); đối với các bản ghi âm dài hơn 30 giây, hãy sử dụng haas_asr.transcribe_longform(model, audio, batch_size=64).
- Từ điển tùy chỉnh: haas_asr.Vocabulary({"cách viết": ["cách đọc (kana)"]}), truyền làm tham số vocabulary cho transcribe hoặc transcribe_longform.
- Để nghe thử hiệu quả, bạn có thể sử dụng trang âm thanh dài của Space chính thức tại third-intelligence-haas-ja-v1-0.hf.space/longform.
Rủi ro
- Chỉ nhận dạng tiếng Nhật; yêu cầu Linux + GPU NVIDIA + NeMo 2.7, mạng dự đoán phụ thuộc vào nhân Triton / CUDA của flash-linear-attention, không thể chạy trên CPU và macOS.
- Được huấn luyện để chuyển đổi toàn bộ câu ngoại tuyến, cần tinh chỉnh thêm để có độ trễ thấp trong chế độ stream; không thể kiểm soát phong cách đầu ra, có xu hướng bỏ qua các từ cảm thán, cách viết chữ Hán, kana và số phụ thuộc vào dữ liệu huấn luyện.
- Tiêu chuẩn đánh giá do chính họ tự biên soạn (siêu dữ liệu mẫu và kịch bản tái tạo đã được công khai); chi phí được ước tính khi GPU hoạt động hết công suất, không bao gồm chi phí vận hành; tốc độ API thương mại được đo qua OpenRouter, bao gồm cả thời gian mạng, chỉ mang tính tham khảo.