SOV-Transcribe-1:Salesforceのオープンウェイト音声転写モデル

Salesforceが11月10日にアップロードした非ストリーミング音声認識モデル。モデルカードによると、総パラメータ数は26.6B(アクティブパラメータ4.6B、音声エンコーダを含む)で、Whisper large-v3音声エンコーダ、投影層、およびGemma 4 26B A4B MoEで構成されている。英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、オランダ語の7言語に対応し、単一の音声ファイルは30分までテスト済み。自然言語の指示により、逐語録または整理された文字起こしを選択でき、句読点や数字のフォーマットを制御可能。また、人名、専門用語、またはトピックの説明を入力することで、認識が難しい単語の認識を支援できる。Apache-2.0ライセンス。

原題:salesforce-sovereign-intelligence/SOV-Transcribe-1

Salesforceが11月10日にアップロードした非ストリーミング音声認識モデル。モデルカードによると、総パラメータ数は26.6B(アクティブパラメータ4.6B、音声エンコーダを含む)で、Whisper large-v3音声エンコーダ、投影層、およびGemma 4 26B A4B MoEで構成されている。英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、オランダ語の7言語に対応し、単一の音声ファイルは30分までテスト済み。自然言語の指示により、逐語録または整理された文字起こしを選択でき、句読点や数字のフォーマットを制御可能。また、人名、専門用語、またはトピックの説明を入力することで、認識が難しい単語の認識を支援できる。Apache-2.0ライセンス。

なぜ重要か 自社サーバーにデプロイ可能で、人名、電話番号、メールアドレスなどの詳細な認識精度が高く、逐語録か整理された文字起こしかを一文で制御できる

上昇スコア 46 · いいね 60 · ダウンロード数 572

理由

  • 公式によると、11月12日時点で、Artificial Analysisの非ストリーミング音声文字起こしランキングにおいて、オープンウェイトモデルでは第1位(総合ランキングでは第7位)、VoiceCodeBenchの23個のシステムの中でエンティティ精度とタスク成功率で第2位
  • DFlash推論デコード用ドラフトモデルを備え、単一リクエスト時のデコード速度は約2~3倍高速。公式はRTX PRO 6000 Blackwellカード1枚で、30秒の録音を0.22秒で返却し、毎秒最大1,039秒分の音声転写が可能と測定
  • モデルカードにはプロンプトテンプレート(逐語、キーワード、自動言語検出、指定言語)および各評価用のプロンプトとスコアリングスクリプトが提供されており、再現が容易

使い方

  • Transformers(>=5.19,<5.23):AutoProcessorとAutoModelForMultimodalLMをtrust_remote_code=Trueで読み込み、音声は16 kHzモノラルで読み込む。processor.apply_transcription_request(audio, prompt="...")を実行後にgenerate
  • vLLM(公式推奨):本リポジトリのvllm_plugin/*をhf downloadで取得後、pip install(vLLM 0.32.0がインストールされる)し、vllm serveを実行。OpenAI互換の/v1/audio/transcriptionsインターフェースを使用。デフォルトでは1回600秒だが、30分にするにはVLLM_MAX_AUDIO_DECODE_DURATION_Sを1800に設定
  • 固有名詞のヒントには「This audio may contain the following words or phrases: {keywords}. Transcribe the audio into text.」を使用。公式は貪欲デコード(temperature=0)とthinkingの無効化を推奨

リスク

  • 中国語には対応せず、ストリーミング認識にも対応していない。ランキングと速度は公式の主張であり、評価表は画像のみ
  • ネイティブサポートはまだvLLMとTransformersへのマージ作業中であり、現状ではtrust_remote_codeまたは公式プラグインが必要。速度は96 GBのVRAMを搭載したプロフェッショナルカードで測定されており、一般的なGPUで動作するかは公式に記載なし
  • 稀に、長さ上限に達するまで特定の文字やフレーズを繰り返し出力する現象が発生し、公式は後処理で除去している。長い録音はポーズで分割することを推奨。本項目は未実行

開く

Hugging Face Trending

最新の AI ニュースを見る