Le modèle d'agent vocal de ServiceNow : il connecte l'encodeur vocal Whisper large-v3-turbo à Gemma 4 26B-A4B via une couche de projection, écoute directement les demandes dictées, effectue la transcription, la traduction vocale et le questionnement vocal, peut raisonner et émettre des appels d'outils au format OpenAI, tout en conservant les entrées texte et image. Il ne produit que du texte et des appels d'outils, ne parle pas lui-même, et nécessite une synthèse vocale externe pour fonctionner comme assistant vocal. Les poids ont été téléchargés le 29 10, ils n'étaient pas inclus dans les numéros précédents.
Score de progression 65 · J'aime 65 · Téléchargements 338
Raisons
- Selon les chiffres officiels, sur les évaluations de type service client vocal, EVA-A (exactitude du service) 51.27, EVA-X (expérience de conversation) 74.13, taux de réussite des tâches τ-Voice 65.51, temps de réponse moyen du système complet 1.91 secondes (avec réflexion activée et synthèse Cartesia Sonic 3.5). Dans le même tableau, la solution open source en trois étapes Parakeet + Gemma 4-26B + TTS obtient 39.97, 3.93, 67.78 ; GPT Realtime 2.1 obtient 59.03, 61.6, 69.82.
- L'ajout de la voix n'a presque pas affecté les capacités textuelles : selon les chiffres officiels, pour les entrées texte, MMLU-Pro 84.42 (base 85.27), GPQA Diamond 80.40 (base 77.80), τ² 70.95 (base 68.93). Le taux d'erreur de mots pour la reconnaissance de l'anglais sur LibriSpeech test-clean / test-other est de 2.23% / 5.15%.
- Les audios longs sont automatiquement découpés en segments de 30 secondes ; selon les chiffres officiels, les enregistrements continus d'environ 30 minutes sont stables, les exemples de service sont configurés pour 30 minutes, et un paramètre de 1 heures est également fourni ; la fiche technique liste 49 étiquettes de langues.
Utilisation
- vLLM : utilisez l'image Docker fournie dans la fiche technique amant555/vllm_apriel_voice:plain-26b-v0.32.0 (ou la PR #64683 de vLLM en amont), exécutez vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4, pour démarrer une interface compatible OpenAI ; l'exemple utilise également google/gemma-4-26B-A4B-it-assistant pour le décodage spéculatif. Il existe une image optimisée, qui selon les chiffres officiels offre un débit de sortie environ deux fois supérieur sur 4 cartes H100 80GB.
- Lors de l'appel, placez audio_url et une instruction texte dans les messages. Pour la transcription et la traduction, utilisez une température de 0.4 et désactivez la réflexion (enable_thinking=false dans chat_template_kwargs) ; pour les instructions générales et les tâches d'outils, utilisez une température de 1.0, top_p 0.95, top_k 64 et activez la réflexion. L'audio doit être en mono à 16 kHz.
- Si vous ne souhaitez pas déployer, vous pouvez essayer la page officielle Apriel Live (servicenow-ai-apriel.hf.space) ; pour l'inférence hors ligne avec Transformers, activez trust_remote_code=True.
Risques
- Les résultats sont tous auto-évalués par l'éditeur : EVA / τ-Voice utilisent l'image optimisée officielle et la synthèse Cartesia, le délai est calculé pour l'ensemble du système et changera selon le déploiement. L'éditeur indique que les performances multilingues sont inégales, les résultats en anglais ne représentent pas les autres langues, et aucun score séparé n'est donné pour le chinois.
- Les poids BF16 pèsent environ 54.5 GB, l'exemple officiel est configuré pour un parallélisme tensoriel sur 4 cartes ; l'image Docker est publiée sous le compte personnel amant555, le support natif de vLLM est encore au stade de la PR.
- Version préliminaire : l'éditeur avertit que les appels d'outils peuvent échouer, que les flux de travail complexes en plusieurs étapes ne peuvent pas toujours être réalisés de manière fiable, que les enregistrements bruyants ou en champ lointain sont difficiles à reconnaître, que les enregistrements longs peuvent entraîner des répétitions ou des dérives ; les opérations ayant des conséquences réelles nécessitent une supervision humaine.