Confucius4-R2T2:一度出力したテキストを修正しないストリーミング音声認識

ストリーミング音声認識では、すでに出力されたテキストが後から修正されることが多く、下流の翻訳機や音声エージェントが単語単位で即時に動作する場合、無駄な処理や誤った動作が発生します。R2T2 は、Qwen3-ASR-1.7B をベースに、1,500 時間分の中英音声で後訓練を行い、音声エンコーダを凍結した状態で、著者が提案する「最長安定プレフィックス」ラベルを用いて、どの文字を確定出力できるか、またいつ追加の音声入力を待つべきかをモデルに学習させました。モデル構造の変更はありません。著者によれば、160 ミリ秒のチャンクサイズでの認識エラー率は 5.76% であり、同じ設定でのベースモデルは 21.01%、全コンテキスト利用時は 5.15% に近く、ほぼ同等の性能を達成しています。訓練には中英のみを使用しましたが、性能向上は他の10言語にも波及しています。

原題:Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

ストリーミング音声認識では、すでに出力されたテキストが後から修正されることが多く、下流の翻訳機や音声エージェントが単語単位で即時に動作する場合、無駄な処理や誤った動作が発生します。R2T2 は、Qwen3-ASR-1.7B をベースに、1,500 時間分の中英音声で後訓練を行い、音声エンコーダを凍結した状態で、著者が提案する「最長安定プレフィックス」ラベルを用いて、どの文字を確定出力できるか、またいつ追加の音声入力を待つべきかをモデルに学習させました。モデル構造の変更はありません。著者によれば、160 ミリ秒のチャンクサイズでの認識エラー率は 5.76% であり、同じ設定でのベースモデルは 21.01%、全コンテキスト利用時は 5.15% に近く、ほぼ同等の性能を達成しています。訓練には中英のみを使用しましたが、性能向上は他の10言語にも波及しています。

なぜ重要か 同時通訳や音声エージェントは単語単位で即時に動作するため、テキストが一度修正されると無駄な処理や誤動作が発生する。重み、推論コード、サーバー側の実装はすべて公開されている

いいね 27 · コードのスター数 871

理由

  • リアルタイム字幕、同時通訳、音声エージェント向け:一度確定したテキストは修正せず、画面のちらつきや下流工程での手戻りを削減
  • 重みは Hugging Face と ModelScope の両方で公開されており、vLLM、transformers、llama.cpp の3種類の推論方法と WebSocket サービスを提供
  • チャンク長を 80 ミリ秒から 2 秒の間で調整可能。再訓練なしで精度と遅延のトレードオフを選択できる

使い方

  • コード:https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
  • README では Docker でのサンプル実行を推奨。Python API を用いたオフラインまたはストリーミング転写、または WebSocket サービスを起動してアプリケーションに接続することも可能。オンラインデモは https://r2t2.youdao.com/demo

リスク

  • 後訓練には中英のみを使用しており、他の言語での性能は著者の評価に依存する
  • README には、遅延指標にキューイング、ネットワーク、レンダリング時間は含まれていないと明記されており、実際のデプロイ環境では遅延が高くなる可能性がある
  • 他のモデルとの比較は著者による自己評価であり、本記事では検証していない

開く · コード · Hugging Face 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る