Fluid Speech Pro:小体量欧洲多语种语音识别模型

FluidVoice 团队 10 月 30 日上传的语音识别模型,基于英伟达 Parakeet TDT 0.6B v3,模型卡称 0.63B 参数,支持 25 种欧洲语言(含英、德、法、西、俄、乌克兰语等,不含中文),无需提示自动识别语种,输出带标点和大小写。提供 NeMo / Transformers、ONNX、MLX、GGUF、Core ML 五个版本,可选“清理模式”去掉重复词和嗯、啊这类语气词。CC BY 4.0 许可。

原题:FluidVoice-Labs/fluid-speech-pro

FluidVoice 团队 10 月 30 日上传的语音识别模型,基于英伟达 Parakeet TDT 0.6B v3,模型卡称 0.63B 参数,支持 25 种欧洲语言(含英、德、法、西、俄、乌克兰语等,不含中文),无需提示自动识别语种,输出带标点和大小写。提供 NeMo / Transformers、ONNX、MLX、GGUF、Core ML 五个版本,可选“清理模式”去掉重复词和嗯、啊这类语气词。CC BY 4.0 许可。

为什么重要 体量小、许可可商用,另有 ONNX、MLX、GGUF、Core ML 版,CPU 和 Mac 上也能跑,适合字幕、会议记录和听写

上升分 46 · 点赞 49 · 下载量 8951

理由

  • 模型卡称在 Open ASR Leaderboard 开放模型中排第 2,平均词错率 6.06,是 10 亿参数以下最准的开放模型;嘈杂语音集 URGENT 2024 词错率 9.83
  • 作者称一张 GPU 上约 3,700 倍实时,一小时音频约一秒转完;ONNX、MLX、GGUF 版可在 CPU 和 Apple 芯片上跑
  • 和底座 Parakeet TDT 0.6B v3 比:排行榜多语种赛道 7 种语言全部更好、平均少 12% 错误,FLEURS 上英语以外 24 种语言平均少约 20%

用法

  • Transformers 5.22+:pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro"),传 16 kHz 单声道音频
  • 要时间戳或清理模式用 NeMo:pip install "nemo_toolkit[asr]",hf download 本仓库的 fluid_speech.py,fluid_speech.load("FluidVoice-Labs/fluid-speech-pro", map_location="cuda", clean_mode=True);transcribe([...], timestamps=True) 返回逐词时间
  • 想和排行榜一样解码:decoding.strategy 设 malsd_batch、beam_size 设 4(作者称平均少约 0.6% 错误);CPU 用 fluid-speech-pro-onnx,Mac 用 fluid-speech-pro-mlx,C++ 用 fluid-speech-pro-gguf

风险

  • 不支持中文;排名和速度是作者在模型卡给的数据,作者也提醒先用自己的音频、口音和语种试
  • Transformers 版去掉了一个小模块、只做贪心解码,作者称结果和 NeMo 版几乎相同;GGUF 版没有清理模式,Core ML 版暂不支持
  • 清理模式会改写原话,需要逐字记录时别开;按 CC BY 4.0 使用须署名 Fluid Speech Pro by FluidVoice。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态