Fluid Speech Pro:小規模な多言語音声認識モデル(ヨーロッパ言語対応)

FluidVoice チームが 10 月 30 日に公開した音声認識モデル。NVIDIA の Parakeet TDT 0.6B v3 をベースにしており、モデルカードによるとパラメータ数は 0.63B です。英語、ドイツ語、フランス語、スペイン語、ロシア語、ウクライナ語など(中国語を除く)25 種類のヨーロッパ言語に対応し、プロンプトなしで自動的に言語を判別します。出力には句読点と大文字小文字が含まれます。NeMo / Transformers、ONNX、MLX、GGUF、Core ML の 5 種類のバージョンが提供されており、重複語や「えー」「あー」といったフィラー(間投詞)を除去する「クリーンアップモード」を選択できます。ライセンスは CC BY 4.0 です。

原題:FluidVoice-Labs/fluid-speech-pro

FluidVoice チームが 10 月 30 日に公開した音声認識モデル。NVIDIA の Parakeet TDT 0.6B v3 をベースにしており、モデルカードによるとパラメータ数は 0.63B です。英語、ドイツ語、フランス語、スペイン語、ロシア語、ウクライナ語など(中国語を除く)25 種類のヨーロッパ言語に対応し、プロンプトなしで自動的に言語を判別します。出力には句読点と大文字小文字が含まれます。NeMo / Transformers、ONNX、MLX、GGUF、Core ML の 5 種類のバージョンが提供されており、重複語や「えー」「あー」といったフィラー(間投詞)を除去する「クリーンアップモード」を選択できます。ライセンスは CC BY 4.0 です。

なぜ重要か モデルサイズが小さく商用利用可能なライセンスであり、さらに ONNX、MLX、GGUF、Core ML バージョンも用意されているため、CPU や Mac でも動作します。字幕作成、会議の議事録作成、音声入力などに適しています。

上昇スコア 46 · いいね数 49 · ダウンロード数 8951

理由

  • モデルカードによると、Open ASR Leaderboard のオープンモデルの中で第 2 位にランクインしており、平均単語誤り率(WER)は 6.06 です。これはパラメータ数 10 億未満のオープンモデルの中で最も精度が高いものです。ノイズの多い音声データセット URGENT では、2024 の WER が 9.83 です。
  • 開発者によると、GPU 1 枚でリアルタイムの約 3,700 倍の速度であり、1 時間の音声は約 1 秒で文字起こし完了します。ONNX、MLX、GGUF バージョンは CPU や Apple シリコンでも動作可能です。
  • ベースモデルである Parakeet TDT 0.6B v3 と比較すると:リーダーボードの多言語トラックでは 7 種類の言語すべてで性能が向上し、平均して誤りが 12% 減少しました。FLEURS データセットでは、英語以外の 24 種類の言語において平均で約 20% の改善が見られました。

使い方

  • Transformers 5.22+:pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro") を使用し、16 kHz のモノラル音声を渡します。
  • タイムスタンプやクリーンアップモードが必要な場合は NeMo を使用します。pip install "nemo\_toolkit\[asr\]" でインストール後、このリポジトリから fluid\_speech.py をダウンロードし、fluid\_speech.load("FluidVoice-Labs/fluid-speech-pro", map\_location="cuda", clean\_mode=True) を実行します。transcribe(\[...\], timestamps=True) で単語ごとのタイムスタンプを取得できます。
  • リーダーボードと同じデコード設定にしたい場合:decoding.strategy を malsd\_batch に、beam\_size を 4 に設定します(開発者によると平均で約 0.6% 誤りが減少します)。CPU では fluid-speech-pro-onnx、Mac では fluid-speech-pro-mlx、C++ では fluid-speech-pro-gguf を使用してください。

リスク

  • 中国語には対応していません。ランキングや速度は開発者がモデルカードで提示したデータであり、開発者も自身の音声、アクセント、言語環境で事前にテストすることを推奨しています。
  • Transformers バージョンでは小さなモジュールが削除され、貪欲デコードのみが行われますが、開発者によると NeMo バージョンとほぼ同じ結果が得られます。GGUF バージョンにはクリーンアップモードがなく、Core ML バージョンは現時点でサポートされていません。
  • クリーンアップモードは元の発話を修正するため、逐語録が必要な場合は使用しないでください。CC BY 4.0 ライセンスに従う場合、「Fluid Speech Pro by FluidVoice」というクレジット表記が必要です。本項目は実行されていません。

開く

Hugging Face Trending

最新の AI ニュースを見る