Titre original : nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
Le grand modèle de parole/audio hors ligne (SALM) de NVIDIA : un encodeur ASR Transformer et un encodeur de locuteurs Nemotron-3-Diarization envoient l'audio dans un modèle de langage hybride Mamba-Transformer MoE Nemotron-3.5 Lightning 30B-A3B, avec un total de 34B de paramètres et environ 4.3B activés (encodeurs audio inclus). Il prend en charge la transcription dans 40 langues, des enregistrements d'une durée maximale de 1 heures (contexte de 65,536 tokens), et permet de choisir le style de transcription via des instructions (transcription verbatim incluant les hésitations, texte nettoyé et lisible, terminologie spécifique au domaine, qui a dit quoi et quand). Il peut également effectuer la traduction vocale, la détection de langue et le questionnement audio, avec des horodatages au niveau du mot en option. Les versions FP8, NVFP4 et un modèle de brouillon pour le décodage spéculatif DFlash2 sont également publiés. La date de publication indiquée sur la fiche est le 28 10, et les numéros précédents ne l'ont pas inclus.
Score de progression 334.5 · J'aime 3057 · Téléchargements 57297
Raisons
- Selon les chiffres officiels, la transcription de réunions complètes avec plusieurs locuteurs (AMI, CALLHOME, Mixer 6, NOTSOFAR-1) affiche un cpWER moyen de 15.80, inférieur au meilleur résultat public précédent de 16.83. Parmi les modèles à poids ouverts, le WER moyen sur les 9 jeux publics du classement Open ASR en anglais est de 4.71, de 10.98 pour les longs audios, et de 4.62 pour le classement multilingue couvrant 7 langues, tous étant les plus bas du tableau (résultats arrêtés au 12 10).
- Un seul modèle remplace plusieurs outils de transcription, de séparation des locuteurs et de traduction : la fiche fournit les instructions exactes pour chaque besoin (par exemple, transcrire uniquement la personne la plus proche du microphone, ajouter un glossaire), ce qui convient aux comptes rendus de réunions, aux sous-titres, à l'analyse des enregistrements du service client et à la recherche audio.
- Faisable en pratique : les exemples officiels montrent comment démarrer un service compatible OpenAI avec vLLM 0.32.0 + NeMo Speech sur une seule carte H100 80 GB, ou comment effectuer des appels in-process via la version source de Transformers. La licence est OpenMDW-1.1, et la fiche précise que l'usage commercial est autorisé. Les 3057 j'aime sur Hugging Face (représentant uniquement l'attention portée).
Utilisation
- vLLM : installez vLLM 0.32.0 et la branche principale de NeMo Speech selon la section Environment Setup de la fiche, définissez VLLM_PLUGINS=nemo_speechlm, VLLM_MAX_AUDIO_DECODE_DURATION_S=3600 et VLLM_USE_V2_MODEL_RUNNER=0 (nécessaire pour les horodatages au niveau du mot), puis lancez la commande complète vllm serve indiquée dans Quick Start (incluant --max-model-len 65536 et la configuration de décodage spéculatif MTP). Côté client, utilisez OpenAI chat.completions, placez le fichier wav base64 dans audio_url, écrivez « Transcribe the following audio. » dans le texte, avec temperature 0 et enable_thinking désactivé.
- Transformers : installez via pip install git+https://github.com/huggingface/transformers，AutoModelForMultimodalLM et chargez avec AutoProcessor, puis appelez processor.apply_transcription_request(audio) avant de générer.
- Pour la transcription, la traduction et la détection de langue, utilisez temperature 0 avec le raisonnement désactivé et laissez le prompt système vide. Pour le questionnement audio, utilisez temperature 0.6, top_p 0.95 et activez le raisonnement.
Risques
- Le mandarin chinois n'est classé que dans la catégorie « Supported » (peut nécessiter un fine-tuning) dans la matrice de support, et non dans la catégorie « Leading ». La compréhension audio, le raisonnement et les instructions orales n'ont été évalués qu'en anglais.
- Il s'agit d'un modèle hors ligne ; le découpage interne ne correspond pas à une transcription en flux temps réel. Les chiffres indiquant que une RTX PRO 6000 transcrit 2238 secondes d'audio par seconde, ou qu'un enregistrement de 30 secondes donne un résultat en 0.13 secondes, proviennent d'une version optimisée de vLLM dans NIM. Ces optimisations ne sont pas encore incluses dans la version open source, que NVIDIA estime environ deux fois plus lente.
- Le dépôt a été créé le 7 10 et figure au classement depuis un certain temps. Les étiquettes de locuteurs distinguent uniquement les différentes personnes dans l'enregistrement et ne reflètent pas leur identité réelle.