Le modèle de langage vocal de ServiceNow : un encodeur vocal Whisper large-v3-turbo et une couche de projection sont ajoutés à Gemma 4 26B-A4B, permettant d'écouter directement la parole et de produire des réponses textuelles ainsi que des appels d'outils structurés, sans nécessiter de transcription préalable suivie d'une transmission à un autre modèle de dialogue ; les entrées textuelles et visuelles sont également conservées. L'entraînement se déroule en deux étapes : d'abord l'alignement de l'interface vocale, puis l'ajustement conjoint de la couche de projection et du réseau principal via un apprentissage supervisé, une relecture de texte et une distillation par divergence croisée / KL positive différenciée selon la source des données. Le modèle ne produit que du texte et des appels d'outils ; la synthèse vocale doit être ajoutée séparément pour la parole.
J'aime 33
Raisons
- L'auteur indique qu'en mode réflexion, les taux de réussite aux tâches Big Bench Audio 98.90, Speech-BFCL 81.13 et τ-Voice atteignent 65.51%, avec un délai moyen de 1.91 secondes ; le tableau de la fiche du modèle montre que le score d'expérience EVA est supérieur à celui des solutions open source en deux ou trois étapes listées.
- Les poids sont sous licence MIT, et la fiche du modèle fournit des instructions de déploiement avec vLLM (interface compatible OpenAI, sélection automatique des outils) et Transformers, permettant de créer directement des applications telles que le service client vocal ou les appels d'outils par dictée.
- Le modèle a atteint la cinquième place en nombre de « likes » le jour de sa publication (indicateur d'attention uniquement) ; la fiche du modèle précise que les scores de raisonnement textuel et d'utilisation d'outils sont essentiellement équivalents à ceux de Gemma 4 26B-A4B, l'ajout de la voix n'ayant pas d'impact négatif notable sur les capacités textuelles.
Utilisation
- Démonstration en ligne : Apriel Live (servicenow-ai-apriel.hf.space) mentionné dans la fiche du modèle.
- Déploiement : utilisez l'image vLLM v0.32.0 fournie dans la fiche du modèle (ou la PR vLLM amont #64683), avec la commande vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4, l'exemple étant configuré pour quatre cartes graphiques.
- Appel : dans les messages du client OpenAI, incluez {"type": "audio_url"} ainsi que des instructions textuelles ; pour les appels d'outils, passez les paramètres tools et lisez message.tool_calls ; pour les tâches de transcription, utilisez une température de 0.4 et désactivez la réflexion.
- L'audio doit être en mono à 16 kHz, les enregistrements longs sont automatiquement découpés en segments de 30 secondes, et la fiche du modèle indique que les performances sont meilleures pour des durées inférieures à environ 30 minutes.
Risques
- Version Preview, sans dépôt de code indépendant ; l'image de déploiement est hébergée sur un compte Docker personnel, et le support officiel de vLLM est encore en attente de fusion dans une PR.
- Barrière de déploiement élevée : l'exemple nécessite quatre cartes graphiques de niveau H100 80GB ; l'expérience de bout en bout dépend également de la synthèse vocale externe et de la gestion des tours de parole, le modèle lui-même n'étant pas une interface vocale en duplex intégral.
- La fiche du modèle mentionne une performance multilingue inégale, des difficultés persistantes avec les voix bruitées et en champ lointain, ainsi que des erreurs potentielles dans les flux d'outils complexes ; les scores de benchmark proviennent des rapports officiels.