Fluid Speech Pro : petit modèle de reconnaissance vocale multilingue pour les langues européennes

Modèle de reconnaissance vocale téléchargé par l'équipe FluidVoice le 30 10, basé sur NVIDIA Parakeet TDT 0.6B v3. La fiche du modèle indique 0.63B paramètres et prend en charge 25 langues européennes (dont l'anglais, l'allemand, le français, l'espagnol, le russe, l'ukrainien, etc., mais pas le chinois). Il identifie automatiquement la langue sans indication préalable et produit une sortie avec ponctuation et majuscules. Cinq versions sont disponibles : NeMo / Transformers, ONNX, MLX, GGUF et Core ML. Un « mode nettoyage » optionnel permet de supprimer les mots répétés et les interjections telles que « euh » ou « ah ». Licence CC BY 4.0.

Titre original : FluidVoice-Labs/fluid-speech-pro

Modèle de reconnaissance vocale téléchargé par l'équipe FluidVoice le 30 10, basé sur NVIDIA Parakeet TDT 0.6B v3. La fiche du modèle indique 0.63B paramètres et prend en charge 25 langues européennes (dont l'anglais, l'allemand, le français, l'espagnol, le russe, l'ukrainien, etc., mais pas le chinois). Il identifie automatiquement la langue sans indication préalable et produit une sortie avec ponctuation et majuscules. Cinq versions sont disponibles : NeMo / Transformers, ONNX, MLX, GGUF et Core ML. Un « mode nettoyage » optionnel permet de supprimer les mots répétés et les interjections telles que « euh » ou « ah ». Licence CC BY 4.0.

Pourquoi c'est important Petit volume, licence utilisable commercialement, versions ONNX, MLX, GGUF et Core ML disponibles pour une exécution sur CPU et Mac, adapté aux sous-titres, comptes rendus de réunions et dictées

Score en hausse 46 · J'aime 49 · Téléchargements 8951

Raison

  • La fiche du modèle indique qu'il se classe 2 parmi les modèles ouverts du classement Open ASR Leaderboard, avec un taux d'erreur de mots moyen de 6.06, ce qui en fait le modèle ouvert le plus précis comptant moins de 10 milliards de paramètres ; sur l'ensemble de données vocales bruitées URGENT, le taux d'erreur de mots est de 9.83 pour 2024.
  • Les auteurs affirment une vitesse d'environ 3,700 fois le temps réel sur un seul GPU, permettant de transcrire une heure d'audio en environ une seconde ; les versions ONNX, MLX et GGUF peuvent s'exécuter sur CPU et puces Apple.
  • Comparaison avec le modèle de base Parakeet TDT 0.6B v3 : sur la piste multilingue du classement, performance supérieure pour les 7 langues testées, avec en moyenne 12% erreurs en moins ; sur FLEURS, pour les 24 langues autres que l'anglais, une réduction moyenne d'environ 20%.

Utilisation

  • Transformers 5.22+ : pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro"), fournir un audio mono à 16 kHz
  • Pour les horodatages ou le mode nettoyage, utilisez NeMo : pip install "nemo_toolkit[asr]", hf download du fichier fluid_speech.py de ce dépôt, puis fluid_speech.load("FluidVoice-Labs/fluid-speech-pro", map_location="cuda", clean_mode=True) ; transcribe([...], timestamps=True) renvoie les horodatages mot à mot
  • Pour un décodage identique à celui du classement : définir decoding.strategy sur malsd_batch et beam_size sur 4 (les auteurs affirment environ 0.6% erreurs en moins en moyenne) ; utilisez fluid-speech-pro-onnx pour CPU, fluid-speech-pro-mlx pour Mac et fluid-speech-pro-gguf pour C++

Risques

  • Le chinois n'est pas pris en charge ; les classements et vitesses sont des données fournies par les auteurs dans la fiche du modèle, qui recommandent également de tester d'abord avec vos propres audios, accents et langues
  • La version Transformers omet un petit module et n'effectue qu'un décodage glouton ; les auteurs affirment que les résultats sont presque identiques à ceux de la version NeMo ; la version GGUF ne propose pas le mode nettoyage et la version Core ML n'est pas encore prise en charge
  • Le mode nettoyage réécrit le discours original, évitez de l'activer si vous avez besoin d'une transcription verbatim ; conformément à la licence CC BY 4.0, l'utilisation nécessite d'attribuer « Fluid Speech Pro by FluidVoice ». Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA