原題:FluidVoice-Labs/fluid-speech-pro
FluidVoice チームが 10 月 30 日に公開した音声認識モデル。NVIDIA の Parakeet TDT 0.6B v3 をベースにしており、モデルカードによるとパラメータ数は 0.63B です。英語、ドイツ語、フランス語、スペイン語、ロシア語、ウクライナ語など(中国語を除く)25 種類のヨーロッパ言語に対応し、プロンプトなしで自動的に言語を判別します。出力には句読点と大文字小文字が含まれます。NeMo / Transformers、ONNX、MLX、GGUF、Core ML の 5 種類のバージョンが提供されており、重複語や「えー」「あー」といったフィラー(間投詞)を除去する「クリーンアップモード」を選択できます。ライセンスは CC BY 4.0 です。
なぜ重要か モデルサイズが小さく商用利用可能なライセンスであり、さらに ONNX、MLX、GGUF、Core ML バージョンも用意されているため、CPU や Mac でも動作します。字幕作成、会議の議事録作成、音声入力などに適しています。
上昇スコア 46 · いいね数 49 · ダウンロード数 8951
理由
- モデルカードによると、Open ASR Leaderboard のオープンモデルの中で第 2 位にランクインしており、平均単語誤り率(WER)は 6.06 です。これはパラメータ数 10 億未満のオープンモデルの中で最も精度が高いものです。ノイズの多い音声データセット URGENT では、2024 の WER が 9.83 です。
- 開発者によると、GPU 1 枚でリアルタイムの約 3,700 倍の速度であり、1 時間の音声は約 1 秒で文字起こし完了します。ONNX、MLX、GGUF バージョンは CPU や Apple シリコンでも動作可能です。
- ベースモデルである Parakeet TDT 0.6B v3 と比較すると:リーダーボードの多言語トラックでは 7 種類の言語すべてで性能が向上し、平均して誤りが 12% 減少しました。FLEURS データセットでは、英語以外の 24 種類の言語において平均で約 20% の改善が見られました。
使い方
- Transformers 5.22+:
pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro")を使用し、16 kHz のモノラル音声を渡します。 - タイムスタンプやクリーンアップモードが必要な場合は NeMo を使用します。
pip install "nemo\_toolkit\[asr\]"でインストール後、このリポジトリからfluid\_speech.pyをダウンロードし、fluid\_speech.load("FluidVoice-Labs/fluid-speech-pro", map\_location="cuda", clean\_mode=True)を実行します。transcribe(\[...\], timestamps=True)で単語ごとのタイムスタンプを取得できます。 - リーダーボードと同じデコード設定にしたい場合:
decoding.strategyをmalsd\_batchに、beam\_sizeを 4 に設定します(開発者によると平均で約 0.6% 誤りが減少します)。CPU ではfluid-speech-pro-onnx、Mac ではfluid-speech-pro-mlx、C++ ではfluid-speech-pro-ggufを使用してください。
リスク
- 中国語には対応していません。ランキングや速度は開発者がモデルカードで提示したデータであり、開発者も自身の音声、アクセント、言語環境で事前にテストすることを推奨しています。
- Transformers バージョンでは小さなモジュールが削除され、貪欲デコードのみが行われますが、開発者によると NeMo バージョンとほぼ同じ結果が得られます。GGUF バージョンにはクリーンアップモードがなく、Core ML バージョンは現時点でサポートされていません。
- クリーンアップモードは元の発話を修正するため、逐語録が必要な場合は使用しないでください。CC BY 4.0 ライセンスに従う場合、「Fluid Speech Pro by FluidVoice」というクレジット表記が必要です。本項目は実行されていません。