SAVA : modèle de détection de l'activité vocale et de la fin de parole d'Inworld

Inworld 11 14 (même éditeur que Voice Isolator, reçu hier). SAVA lit un flux audio mono en temps réel à 16 kHz et produit toutes les 40 ms deux probabilités : la présence de parole dans la trame courante (avec une anticipation de 120 ms, donc un retard de 120 ms) et la fin du tour de parole de l'interlocuteur (sans anticipation). Le réseau partagé exploite à la fois les caractéristiques acoustiques et le contexte linguistique pour distinguer la parole des toux, rires, musiques et bruits de clavier. Le modèle compte 25.5 M de paramètres et se compose d'un tronc causal intégrant des caractéristiques log-mel, 3 blocs Mamba-2 et 1 blocs d'attention, suivi de deux têtes de sortie dédiées à la détection de parole et de fin de tour. Selon la documentation officielle, l'entraînement a mobilisé environ 5,000 heures de voix de dialogue réelles et synthétiques, mélangées à des vocalisations non verbales, du bruit, de la musique et de la réverbération de pièce. Le code et les poids sont sous licence Apache-2.0.

Titre original : inworld/sava

Inworld 11 14 (même éditeur que Voice Isolator, reçu hier). SAVA lit un flux audio mono en temps réel à 16 kHz et produit toutes les 40 ms deux probabilités : la présence de parole dans la trame courante (avec une anticipation de 120 ms, donc un retard de 120 ms) et la fin du tour de parole de l'interlocuteur (sans anticipation). Le réseau partagé exploite à la fois les caractéristiques acoustiques et le contexte linguistique pour distinguer la parole des toux, rires, musiques et bruits de clavier. Le modèle compte 25.5 M de paramètres et se compose d'un tronc causal intégrant des caractéristiques log-mel, 3 blocs Mamba-2 et 1 blocs d'attention, suivi de deux têtes de sortie dédiées à la détection de parole et de fin de tour. Selon la documentation officielle, l'entraînement a mobilisé environ 5,000 heures de voix de dialogue réelles et synthétiques, mélangées à des vocalisations non verbales, du bruit, de la musique et de la réverbération de pièce. Le code et les poids sont sous licence Apache-2.0.

Pourquoi c'est important Un petit modèle effectuant deux tâches simultanément, exécutable sur CPU et sous licence Apache ; capable de distinguer la voix humaine des toux, rires, musiques et bruits de clavier

Score de progression 38 · J'aime 57 · Téléchargements 0

Justification

  • Tests officiels effectués sur le CPU d'un Apple M3 Max : 3.8 ms de temps de calcul par trame de 40 ms pour un flux audio unique ; des mesures ont également été réalisées sur des GPU NVIDIA Ampere, Hopper et Blackwell
  • La détection d'activité vocale est comparée à Silero VAD et la détection de fin de tour à pipecat smart-turn v3.2, avec des scores AUC présentés par jeu de données sans classement global ; les auteurs précisent que l'anticipation de 120 ms de SAVA rend la comparaison de latence inégale
  • Le dépôt inclut une stratégie de segmentation de référence qui découpe les deux courbes de probabilité en segments de parole ; les applications peuvent substituer leur propre stratégie

Utilisation

  • pip install inworld-sava (Python 3.10 ou version ultérieure), puis sava run recording.wav ; ajoutez --turns_dir turns/ pour exporter les segments de parole découpés et --curves curves.json pour sauvegarder les courbes de probabilité ; pour l'entrée micro, installez inworld-sava[mic] puis exécutez sava mic
  • En Python : sava.load("inworld/sava") charge le modèle (téléchargement automatique et vérification de hachage au premier lancement), sava.run génère les courbes et sava.segment découpe les segments selon sava.Policy() ; pour le mode streaming, utilisez sava.Session(model), appelez push() à chaque réception d'un bloc audio de 16 kHz et flush() à la fin
  • L'exécution sur CPU est le comportement par défaut, utilisez --device pour cibler un autre matériel ; le dépôt GitHub inworld-ai/sava fournit un guide d'intégration et un tableau de benchmarks complet, et AGENTS.md peut être transmis à un agent de programmation pour l'installation

Risques

  • Réagit à toute voix humaine sans cibler un locuteur spécifique ; la gestion des interruptions et des acquiescements du type « hum » relève de la stratégie de dialogue de l'application
  • La documentation officielle signale que des bruits silencieux mais ressemblant à la voix peuvent déclencher des faux positifs (le jeu ESC-50 teste précisément ce cas d'échec) ; les benchmarks sont auto-déclarés par les éditeurs
  • La recette d'entraînement, le code et les données ne sont pas publics. Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA