Confucius4-R2T2: 출력된 텍스트를 수정하지 않는 스트리밍 음성 인식

스트리밍 음성 인식은 이미 출력된 텍스트를 수정하는 경우가 많아, 단어를 기반으로 즉시 동작하는 다운스트림 번역기나 음성 에이전트가 불필요한 작업을 수행하거나 오류를 범할 수 있습니다. R2T2은 Qwen3-ASR-1.7B 모델에 1,500시간 분량의 한중 및 한영 오디오 데이터를 사용하여 후학습을 수행했으며, 오디오 인코더를 동결하고 저자들이 제안한 '최장 안정 접두어' 레이블을 통해 모델이 어떤 단어를 확정적으로 출력할 수 있는지, 그리고 언제 추가 오디오를 기다려야 하는지 학습시켰습니다. 모델 구조는 변경되지 않았습니다. 저자들은 160밀리초 청크 크기에서 인식 오류율이 5.76%임을 보고했으며, 동일한 설정에서 기본 모델의 오류율은 21.01%이고 전체 컨텍스트 사용 시 오류율은 5.15%에 근접했습니다. 학습에는 한중 및 한영 데이터만 사용되었으나, 성능 향상은 다른 10개 언어에서도 확인되었습니다.

원제: Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

스트리밍 음성 인식은 이미 출력된 텍스트를 수정하는 경우가 많아, 단어를 기반으로 즉시 동작하는 다운스트림 번역기나 음성 에이전트가 불필요한 작업을 수행하거나 오류를 범할 수 있습니다. R2T2은 Qwen3-ASR-1.7B 모델에 1,500시간 분량의 한중 및 한영 오디오 데이터를 사용하여 후학습을 수행했으며, 오디오 인코더를 동결하고 저자들이 제안한 '최장 안정 접두어' 레이블을 통해 모델이 어떤 단어를 확정적으로 출력할 수 있는지, 그리고 언제 추가 오디오를 기다려야 하는지 학습시켰습니다. 모델 구조는 변경되지 않았습니다. 저자들은 160밀리초 청크 크기에서 인식 오류율이 5.76%임을 보고했으며, 동일한 설정에서 기본 모델의 오류율은 21.01%이고 전체 컨텍스트 사용 시 오류율은 5.15%에 근접했습니다. 학습에는 한중 및 한영 데이터만 사용되었으나, 성능 향상은 다른 10개 언어에서도 확인되었습니다.

왜 중요한가 동시통역 및 음성 에이전트는 단어를 기반으로 즉시 동작하므로, 텍스트가 수정되면 불필요한 작업이나 오류가 발생합니다. 가중치, 추론 코드 및 서버가 모두 공개되어 있습니다.

좋아요 27 · 코드 스타 수 871

이유

  • 실시간 자막, 동시통역 및 음성 에이전트용: 이미 제출된 텍스트는 수정되지 않아 화면 깜빡임과 다운스트림 재작업을 줄입니다
  • 가중치는 Hugging Face와 ModelScope에서 제공되며, vLLM, transformers, llama.cpp 세 가지 추론 방식과 WebSocket 서비스를 지원합니다
  • 청크 길이를 80밀리초에서 2초까지 조정할 수 있어, 재학습 없이 정확도와 지연 시간 간에 균형을 맞출 수 있습니다

사용법

  • 코드: https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
  • README에서는 예제 실행을 위해 Docker 사용을 권장하며, Python API를 통해 오프라인 또는 스트리밍 전사를 수행하거나 WebSocket 서비스를 시작하여 애플리케이션에 연결할 수 있습니다. 온라인 데모는 https://r2t2.youdao.com/demo에서 확인 가능합니다

리스크

  • 후학습에는 한중 및 한영 데이터만 사용되었으므로, 다른 언어의 성능은 저자의 평가에 따릅니다
  • README에는 지연 시간 지표에 대기, 네트워크 및 렌더링 시간이 포함되지 않는다고 명시되어 있어, 실제 배포 시 지연 시간은 더 높을 수 있습니다
  • 다른 모델과의 비교는 저자의 자체 테스트 결과이며, 본 항목에서는 실행되지 않았습니다

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기