NVIDIA a publié le 28 10 le modèle vocal à poids ouverts Nemotron 3.5 Transcribe : un seul modèle effectuant simultanément la transcription, l'annotation des locuteurs, la traduction et le question-réponse audio, où une instruction en langage naturel détermine la sortie ; il peut transcrire 40 langues, dont 31 peuvent être traduites vers et depuis l'anglais, et 13 permettent l'identification des locuteurs, avec des enregistrements individuels pouvant durer jusqu'à 1 heures et contenir jusqu'à 8 locuteurs. NVIDIA a également ouvert le pipeline de nettoyage de données et la liste de données Granary v2, ainsi qu'un tutoriel de micro-ajustement NeMo Speech.
Confiance : élevée (100) · Date de l'événement 2026-10-28
Justification
- Sur un même enregistrement de réunion, une simple modification de l'invite permet de générer une transcription verbatim avec étiquettes de locuteurs, une traduction en anglais ou une réponse à la question « quelles décisions ont été prises lors de cette réunion » ; il est également possible de fournir une liste de termes spécialisés (comme des noms de médicaments) dans l'invite, que le modèle n'utilisera que s'ils apparaissent réellement dans l'audio. Un processus nécessitant auparavant l'enchaînement de plusieurs modèles pour la transcription, la séparation des locuteurs et la traduction peut désormais être réalisé par un seul modèle.
- L'architecture combine un encodeur vocal et un modèle de langue hybride Mamba–Transformer à experts mélangés, avec un total d'environ 30B de paramètres et environ 4B activés par token (la fiche modèle indique environ 4.3B, incluant l'encodeur audio), disponible en trois précisions : BF16, FP8 et NVFP4. Selon NVIDIA : premier rang des poids ouverts sur le classement Open ASR en anglais de Hugging Face (taux moyen d'erreur de mot de 5.33%) ; égalité pour la première place des poids ouverts sur le classement de transcription vocale d'Artificial Analysis (2.8%), face à des concurrents ayant 24B de paramètres activés ; taux d'erreur le plus bas (18.26%) sur le classement de séparation des locuteurs pour 21 langues de David AI.
- NVIDIA fournit un cas complet d'adaptation au domaine : sur un ensemble de données vocales médicales avec accents indiens, une invite bien conçue a réduit le taux d'erreur de mot de 30.8% à 23.8%, puis le micro-ajustement l'a réduit à 11.8% ; sur des locuteurs non utilisés lors du réglage, il est passé de 22.44% à 12.17% (réduction relative de 45.8%), l'ensemble de l'adaptation prenant environ 14 heures GPU sur une seule carte GB300.
- La liste publique Granary v2 couvre 463,062 heures, 48 langues et 16 corpus sources (v1 couvre 25 langues), chaque enregistrement étant accompagné de trois formes de transcription (verbatim, normalisée, etc.), et le pipeline peut être utilisé pour traiter ses propres enregistrements.
Utilisation
- Le modèle est disponible sur Hugging Face sous nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B (synchronisé sur ModelScope), avec une démonstration en ligne ; il peut être auto-hébergé via vLLM ou SGLang-Omni, ou utilisé via les points de terminaison hébergés de Baseten, DeepInfra et Simplismart. Les versions quantifiées et le déploiement local via NeMo-Speech.cpp sont annoncés comme « disponibles prochainement » par NVIDIA.
- Les données sont disponibles sur Hugging Face sous nvidia/Granary-v2 ; pour le micro-ajustement, consultez le tutoriel NeMo Speech et le cas d'usage ASR médical, ainsi qu'une compétence d'agent permettant aux agents de programmation d'exécuter le processus complet de micro-ajustement. La fiche modèle fournit les invites recommandées pour chaque tâche et une matrice de support linguistique.
Risques
- Le modèle ne traite que des enregistrements audio préexistants, et non la reconnaissance en flux temps réel ; le question-réponse audio, le raisonnement et les instructions vocales n'ont été évalués qu'en anglais.
- La licence est OpenMDW-1.1, et la fiche modèle indique une utilisation commerciale autorisée ; elle précise également que les performances sur les tâches purement textuelles sont inférieures à celles de son modèle de langue de base.
- The Decoder affirme que Granary v2 contient environ 84.4 millions d'heures, ce qui est incohérent avec les 463,062 heures mentionnées dans le blog de NVIDIA ; nous nous référons aux chiffres officiels. Les descriptions de SiliconANGLE concernant la « capacité à traiter 100 heures d'audio » ne correspondent pas au texte officiel.
- Les résultats des classements sont compilés par NVIDIA, sans vérification indépendante des sorties réelles du modèle.
Ouvrir · Fiche modèle Nemotron 3.5 Transcribe · Blog NVIDIA (récapitulatif IA locale RTX Spark) · TechCrunch · The Decoder · SiliconANGLE