Fluid Speech Pro: компактная многоязычная модель распознавания речи для европейских языков

Модель распознавания речи, загруженная командой FluidVoice 10 30, основанная на NVIDIA Parakeet TDT 0.6B v3. Согласно карточке модели, она содержит 0.63 млрд параметров и поддерживает 25 европейских языков (включая английский, немецкий, французский, испанский, русский, украинский и другие, но не китайский). Язык определяется автоматически без подсказок, вывод содержит пунктуацию и заглавные буквы. Доступны пять версий: NeMo / Transformers, ONNX, MLX, GGUF и Core ML. Предусмотрен опциональный «режим очистки» для удаления повторяющихся слов и междометий вроде «э-э» или «а-а». Лицензия CC BY 4.0.

Оригинальное название: FluidVoice-Labs/fluid-speech-pro

Модель распознавания речи, загруженная командой FluidVoice 10 30, основанная на NVIDIA Parakeet TDT 0.6B v3. Согласно карточке модели, она содержит 0.63 млрд параметров и поддерживает 25 европейских языков (включая английский, немецкий, французский, испанский, русский, украинский и другие, но не китайский). Язык определяется автоматически без подсказок, вывод содержит пунктуацию и заглавные буквы. Доступны пять версий: NeMo / Transformers, ONNX, MLX, GGUF и Core ML. Предусмотрен опциональный «режим очистки» для удаления повторяющихся слов и междометий вроде «э-э» или «а-а». Лицензия CC BY 4.0.

Почему это важно Компактный размер, лицензия допускает коммерческое использование. Наличие версий ONNX, MLX, GGUF и Core ML позволяет запускать модель на CPU и Mac, что делает её подходящей для создания субтитров, протоколов совещаний и диктовки.

Рост рейтинга: 46 · Лайки: 49 · Загрузки: 8951

Обоснование

  • В карточке модели указано, что она занимает 2 место среди открытых моделей в рейтинге Open ASR Leaderboard, со средней ошибкой распознавания слов 6.06, являясь самой точной открытой моделью с параметрами менее 10 млрд; на наборе данных с шумной речью URGENT ошибка распознавания слов составляет 9.83 при 2024
  • Авторы утверждают, что на одном GPU скорость работы составляет примерно 3,700-кратную реалтайму, а час аудио транскрибируется примерно за одну секунду; версии ONNX, MLX и GGUF могут работать на CPU и чипах Apple
  • По сравнению с базовой моделью Parakeet TDT 0.6B v3: в многоязычном треке рейтинга результаты лучше по всем 7 языкам, в среднем на 12% меньше ошибок, а на датасете FLEURS для языков, отличных от английского, в среднем на 20% меньше ошибок по 24 языкам

Использование

  • Для Transformers версии 5.22 и выше: pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro"), передавайте монофоническое аудио с частотой дискретизации 16 кГц
  • Для получения временных меток или использования режима очистки используйте NeMo: выполните pip install "nemo_toolkit[asr]", загрузите файл fluid_speech.py из этого репозитория с помощью hf download, затем вызовите fluid_speech.load("FluidVoice-Labs/fluid-speech-pro", map_location="cuda", clean_mode=True); метод transcribe([...], timestamps=True) возвращает пословные временные метки
  • Для декодирования аналогично рейтингу: установите decoding.strategy в malsd_batch, а beam_size — в 4 (по словам авторов, это снижает среднюю ошибку примерно на 0.6%); для CPU используйте fluid-speech-pro-onnx, для Mac — fluid-speech-pro-mlx, для C++ — fluid-speech-pro-gguf

Риски

  • Не поддерживается китайский язык; данные о рейтинге и скорости предоставлены авторами в карточке модели. Авторы также рекомендуют сначала протестировать модель на собственных аудиофайлах с учетом акцентов и языков
  • В версии для Transformers удален небольшой модуль и используется только жадное декодирование; авторы утверждают, что результаты почти идентичны версии NeMo. В версии GGUF нет режима очистки, а версия Core ML пока не поддерживается
  • Режим очистки перефразирует оригинальную речь, поэтому его не следует включать при необходимости дословной записи. При использовании по лицензии CC BY 4.0 требуется указание авторства: Fluid Speech Pro by FluidVoice. Данный пункт не был проверен на практике

Открыть

Hugging Face Trending

Открыть последние новости ИИ