原题:Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription
流式语音识别常会回改已经输出的文字,下游的翻译器、语音智能体按词即时动作时就会白做或做错。R2T2 在 Qwen3-ASR-1.7B 上用 1,500 小时中英文音频做后训练,冻结音频编码器,用作者提出的“最长稳定前缀”标签教模型哪些字可以确定输出、什么时候该等更多音频,不改模型结构。作者称 160 毫秒分块下识别错误率 5.76%,同设置下基座模型为 21.01%,接近全上下文的 5.15%;训练只用中英文,提升也延伸到另外十种语言。
为什么重要 同传和语音智能体会按词即时动作,文字一回改就是白做或做错;权重、推理代码和服务端都已开放
点赞 27 · 代码星数 871
理由
- 面向实时字幕、同声传译和语音智能体:已提交的文字不再修改,减少画面闪动和下游返工
- 权重在抱脸和魔搭都有,提供 vLLM、transformers、llama.cpp 三种推理方式和 WebSocket 服务
- 分块时长可在 80 毫秒到 2 秒之间调,不用重训就能在准确率和延迟之间取舍
用法
- 代码:https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
- README 推荐用 Docker 跑示例,也可用 Python API 做离线或流式转写,或启动 WebSocket 服务接入应用;在线演示 https://r2t2.youdao.com/demo
风险
- 后训练只用了中英文,其他语言的表现以作者评测为准
- README 注明延迟指标不含排队、网络和渲染时间,实际部署延迟会更高
- 与其他模型的对比为作者自测,本条未运行