Оригинальное название: FluidVoice-Labs/fluid-speech-pro
Модель распознавания речи, загруженная командой FluidVoice 10 30, основанная на NVIDIA Parakeet TDT 0.6B v3. Согласно карточке модели, она содержит 0.63 млрд параметров и поддерживает 25 европейских языков (включая английский, немецкий, французский, испанский, русский, украинский и другие, но не китайский). Язык определяется автоматически без подсказок, вывод содержит пунктуацию и заглавные буквы. Доступны пять версий: NeMo / Transformers, ONNX, MLX, GGUF и Core ML. Предусмотрен опциональный «режим очистки» для удаления повторяющихся слов и междометий вроде «э-э» или «а-а». Лицензия CC BY 4.0.
Почему это важно Компактный размер, лицензия допускает коммерческое использование. Наличие версий ONNX, MLX, GGUF и Core ML позволяет запускать модель на CPU и Mac, что делает её подходящей для создания субтитров, протоколов совещаний и диктовки.
Рост рейтинга: 46 · Лайки: 49 · Загрузки: 8951
Обоснование
- В карточке модели указано, что она занимает 2 место среди открытых моделей в рейтинге Open ASR Leaderboard, со средней ошибкой распознавания слов 6.06, являясь самой точной открытой моделью с параметрами менее 10 млрд; на наборе данных с шумной речью URGENT ошибка распознавания слов составляет 9.83 при 2024
- Авторы утверждают, что на одном GPU скорость работы составляет примерно 3,700-кратную реалтайму, а час аудио транскрибируется примерно за одну секунду; версии ONNX, MLX и GGUF могут работать на CPU и чипах Apple
- По сравнению с базовой моделью Parakeet TDT 0.6B v3: в многоязычном треке рейтинга результаты лучше по всем 7 языкам, в среднем на 12% меньше ошибок, а на датасете FLEURS для языков, отличных от английского, в среднем на 20% меньше ошибок по 24 языкам
Использование
- Для Transformers версии 5.22 и выше: pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro"), передавайте монофоническое аудио с частотой дискретизации 16 кГц
- Для получения временных меток или использования режима очистки используйте NeMo: выполните pip install "nemo_toolkit[asr]", загрузите файл fluid_speech.py из этого репозитория с помощью hf download, затем вызовите fluid_speech.load("FluidVoice-Labs/fluid-speech-pro", map_location="cuda", clean_mode=True); метод transcribe([...], timestamps=True) возвращает пословные временные метки
- Для декодирования аналогично рейтингу: установите decoding.strategy в malsd_batch, а beam_size — в 4 (по словам авторов, это снижает среднюю ошибку примерно на 0.6%); для CPU используйте fluid-speech-pro-onnx, для Mac — fluid-speech-pro-mlx, для C++ — fluid-speech-pro-gguf
Риски
- Не поддерживается китайский язык; данные о рейтинге и скорости предоставлены авторами в карточке модели. Авторы также рекомендуют сначала протестировать модель на собственных аудиофайлах с учетом акцентов и языков
- В версии для Transformers удален небольшой модуль и используется только жадное декодирование; авторы утверждают, что результаты почти идентичны версии NeMo. В версии GGUF нет режима очистки, а версия Core ML пока не поддерживается
- Режим очистки перефразирует оригинальную речь, поэтому его не следует включать при необходимости дословной записи. При использовании по лицензии CC BY 4.0 требуется указание авторства: Fluid Speech Pro by FluidVoice. Данный пункт не был проверен на практике