Confucius4-R2T2:已输出文字不回改的流式语音识别

流式语音识别常会回改已经输出的文字,下游的翻译器、语音智能体按词即时动作时就会白做或做错。R2T2 在 Qwen3-ASR-1.7B 上用 1,500 小时中英文音频做后训练,冻结音频编码器,用作者提出的“最长稳定前缀”标签教模型哪些字可以确定输出、什么时候该等更多音频,不改模型结构。作者称 160 毫秒分块下识别错误率 5.76%,同设置下基座模型为 21.01%,接近全上下文的 5.15%;训练只用中英文,提升也延伸到另外十种语言。

原题:Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

流式语音识别常会回改已经输出的文字,下游的翻译器、语音智能体按词即时动作时就会白做或做错。R2T2 在 Qwen3-ASR-1.7B 上用 1,500 小时中英文音频做后训练,冻结音频编码器,用作者提出的“最长稳定前缀”标签教模型哪些字可以确定输出、什么时候该等更多音频,不改模型结构。作者称 160 毫秒分块下识别错误率 5.76%,同设置下基座模型为 21.01%,接近全上下文的 5.15%;训练只用中英文,提升也延伸到另外十种语言。

为什么重要 同传和语音智能体会按词即时动作,文字一回改就是白做或做错;权重、推理代码和服务端都已开放

点赞 27 · 代码星数 871

理由

  • 面向实时字幕、同声传译和语音智能体:已提交的文字不再修改,减少画面闪动和下游返工
  • 权重在抱脸和魔搭都有,提供 vLLM、transformers、llama.cpp 三种推理方式和 WebSocket 服务
  • 分块时长可在 80 毫秒到 2 秒之间调,不用重训就能在准确率和延迟之间取舍

用法

  • 代码:https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
  • README 推荐用 Docker 跑示例,也可用 Python API 做离线或流式转写,或启动 WebSocket 服务接入应用;在线演示 https://r2t2.youdao.com/demo

风险

  • 后训练只用了中英文,其他语言的表现以作者评测为准
  • README 注明延迟指标不含排队、网络和渲染时间,实际部署延迟会更高
  • 与其他模型的对比为作者自测,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态