Tiêu đề gốc: Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription
Nhận dạng giọng nói theo dòng chảy thường xuyên sửa đổi văn bản đã xuất, khiến các bộ dịch và tác nhân giọng nói phía sau thực hiện hành động theo từ bị lãng phí hoặc sai lệch. R2T2 được huấn luyện hậu kỳ trên Qwen3-ASR-1.7B sử dụng 1,500 giờ âm thanh tiếng Trung và tiếng Anh, đóng băng bộ mã hóa âm thanh, và sử dụng nhãn "tiền tố ổn định dài nhất" do các tác giả đề xuất để dạy mô hình biết những ký tự nào có thể chắc chắn xuất ra, khi nào nên chờ thêm âm thanh, mà không thay đổi cấu trúc mô hình. Các tác giả cho biết với phân đoạn 160 mili giây, tỷ lệ lỗi nhận dạng là 5.76%, trong khi mô hình cơ sở ở cùng thiết lập là 21.01%, gần với mức 5.15% của toàn bộ ngữ cảnh; mặc dù chỉ huấn luyện bằng tiếng Trung và tiếng Anh, sự cải thiện cũng mở rộng sang mười ngôn ngữ khác.
Tại sao quan trọng Phiên dịch đồng thời và các tác nhân giọng nói thực hiện hành động theo từ ngay lập tức, việc sửa đổi văn bản dẫn đến lãng phí hoặc sai lệch; trọng số, mã suy luận và máy chủ đều đã được mở
Thích 27 · Số sao mã nguồn 871
Lý do
- Hướng tới phụ đề thời gian thực, phiên dịch đồng thời và tác nhân giọng nói: văn bản đã gửi không còn bị sửa đổi, giảm nhấp nháy màn hình và công việc làm lại phía sau
- Trọng số có trên Hugging Face và ModelScope, cung cấp ba phương pháp suy luận vLLM, transformers, llama.cpp và dịch vụ WebSocket
- Thời lượng phân đoạn có thể điều chỉnh từ 80 mili giây đến 2 giây, cho phép đánh đổi giữa độ chính xác và độ trễ mà không cần huấn luyện lại
Cách sử dụng
- Mã nguồn: https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
- README khuyến nghị chạy ví dụ bằng Docker, cũng có thể sử dụng API Python để chuyển đổi ngoại tuyến hoặc theo dòng chảy, hoặc khởi động dịch vụ WebSocket để tích hợp vào ứng dụng; demo trực tuyến https://r2t2.youdao.com/demo
Rủi ro
- Huấn luyện hậu kỳ chỉ sử dụng tiếng Trung và tiếng Anh, hiệu suất trên các ngôn ngữ khác dựa trên đánh giá của các tác giả
- README ghi rõ các chỉ số độ trễ không bao gồm thời gian xếp hàng, mạng và kết xuất, độ trễ triển khai thực tế sẽ cao hơn
- So sánh với các mô hình khác là do các tác giả tự kiểm tra, mục này chưa được chạy thử