原題：nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
NVIDIAのオフライン音声/オーディオ大規模モデル（SALM）：Transformer ASRエンコーダーとNemotron-3-Diarization話者エンコーダーがオーディオをNemotron-3.5 Lightning 30B-A3BハイブリッドMamba-Transformer MoE言語モデルに入力します。総パラメータ数は34B、アクティブパラメータは約4.3B（オーディオエンコーダーを含む）です。40言語の転写に対応し、最大1時間の録音（コンテキスト長65,536トークン）を処理できます。指示によって転写スタイルを選択可能で、フィラーを含む逐語転写、読みやすいテキストへの整理、ドメイン用語の適用、話者と発話タイミングの特定などが可能です。音声翻訳、言語識別、オーディオQ&Aにも対応し、単語レベルのタイムスタンプをオプションで出力できます。同時にFP8、NVFP4バージョンと、DFlash2投機デコード用ドラフトモデルも公開されています。カードに記載されているリリース日は10月28日で、以前の号では取り上げられていません。
上昇スコア 334.5 · いいね 3057 · ダウンロード数 57297
理由
- 公式によれば、複数話者による会議全体の転写（AMI、CALLHOME、Mixer 6、NOTSOFAR-1）において、平均cpWERは15.80で、従来の最高の公開結果16.83を下回っています。オープンウェイトモデルの中では、英語のOpen ASRベンチマークで9個の公開データセットの平均WERが4.71、長尺オーディオで10.98、7言語の多言語ベンチマークで4.62となり、いずれも表の中で最低値です（結果は10月12日時点）。
- 1つのモデルで転写、話者分離、翻訳などの複数のツールを置き換えることができます。カードには各ニーズに対応する指示文の例（例えば、マイクに最も近い話者のみ転写する、用語集を追加するなど）が記載されており、会議議事録、字幕、カスタマーサービス録音の分析、オーディオ検索などに適しています。
- 実行可能です：公式の例では、H100 80 GBのGPU上でvLLM 0.32.0 + NeMo Speechを使用してOpenAI互換サービスを起動するか、ソースコード版のTransformersをプロセス内で呼び出すことも可能です。ライセンスはOpenMDW-1.1で、カードには商用利用が可能であることが明記されています。Hugging Faceでのいいね数は3057（注目度を示すのみ）。
使い方
- vLLM：カードのEnvironment Setupに従ってvLLM 0.32.0とNeMo Speechのmainブランチをインストールし、VLLM_PLUGINS=nemo_speechlm、VLLM_MAX_AUDIO_DECODE_DURATION_S=3600、VLLM_USE_V2_MODEL_RUNNER=0（単語レベルのタイムスタンプに必要）を設定します。その後、Quick Startのvllm serveコマンド全体（--max-model-len 65536とMTP投機デコード設定を含む）に従って起動します。クライアント側ではOpenAIのchat.completionsを使用し、base64のwavファイルをaudio_urlに配置し、テキストには「Transcribe the following audio.」を指定します。temperatureは0、enable_thinkingはオフにします。
- Transformers：pip install git+https://github.com/huggingface/transformers，AutoModelForMultimodalLMを実行し、AutoProcessorで読み込みます。processor.apply_transcription_request(オーディオ)を実行した後、generateを呼び出します。
- 転写、翻訳、言語識別ではtemperatureを0に設定し、推論をオフにします。システムプロンプトは空にします。オーディオQ&Aではtemperatureを0.6、top_pを0.95に設定し、推論をオンにします。
リスク
- 中国語標準語はサポートマトリクスでは「Supported」レベル（微調整が必要な場合あり）であり、「Leading」レベルには含まれていません。オーディオ理解、推論、口語指示は英語でのみ評価されています。
- これはオフラインモデルであり、内部でのチャンク分割はリアルタイムストリーミング転写を意味しません。カードに記載されているRTX PRO 6000で毎秒2238秒のオーディオを転写し、30秒の録音が0.13秒で結果が出るという数値は、NIM内の最適化されたvLLMに基づくものであり、これらの最適化はまだオープンソース版には含まれていません。公式ではオープンソース版は約2倍遅いと推定されています。
- 10月7日にリポジトリが作成され、すでに一定期間ランキングに入っています。話者ラベルは録音内の異なる人物を区別するだけであり、実際の身元を示すものではありません。