Titre original : adventists-ai/Sophon-Realtime-v1
La famille de modèles vocaux full-duplex open source d'Adventists AI (AI Adventists), 11-10 est déjà répertorié. Les trois versions partagent le même « cerveau » de 32B chargé de l'écoute, de la détection des tours de parole et de la rédaction des réponses ; la seule différence réside dans la manière dont les réponses sont converties en voix : Tag utilise un modèle vocal plus expressif, Flash est plus rapide et offre plus de parallélisme sur une seule carte, tandis que E2E utilise une tête parlante d'environ 3.5 millions de paramètres pour générer directement des vecteurs audio continus. Les progrès depuis 11-10 : 11-11 la version E2E (1.1.3) est passée de la préversion à la version stable, réduisant l'exigence de deux cartes à une seule carte de 80 Go ; 11-12 (1.1.4) E2E peut également être déployé comme modèle vLLM-Omni, avec les mêmes commandes et interfaces que Tag et Flash ; 11-13 (1.2.0) les réponses longues ne sont plus coupées après environ 2 minute ; 11-14 (1.3.0) E2E prend en charge le clonage de voix en zero-shot, nécessitant seulement un enregistrement de 5–12 secondes, sans modification des poids.
Pourquoi c'est important Mises à jour consécutives depuis la dernière répertoriation : la version E2E peut être déployée avec la même interface que Tag et Flash, les réponses longues sont complètes, et une interface hébergée gratuite est disponible
Score en hausse 158 · J'aime 210 · Téléchargements 0
Raisons
- Selon l'officiel, le cerveau partagé par les trois versions obtient 82.8 sur VoiceBench et 81.8% sur Big Bench Audio, se classant premier parmi les modèles full-duplex open source ; le temps de première réponse pour une seule voie sur E2E est d'environ 0.25 secondes, avec un parallélisme recommandé de 16 voies par carte
- L'officiel fournit une évaluation des sons non verbaux pour E2E : NVV-SuperBench obtient 0.85 en chinois et 0.75 en anglais (total combiné des quatre catégories : rire, toux, soupir, respiration)
- Une interface hébergée a été ajoutée à la page d'accueil, offrant 3 heures de dialogue vocal gratuites à l'inscription, compatible avec le protocole OpenAI Realtime, permettant de tester sans carte graphique
Utilisation
- Méthode vLLM-Omni pour E2E : git clone le répertoire https://github.com/adventists-ai/sophon-realtime,进 e2e/ et exécutez bash install.sh (environ 41 Go), puis GPU=0 PORT=8000 bash start.sh, les interfaces sont /v1/realtime et /v1/chat/completions
- Pour privilégier l'expressivité, choisissez Tag ; pour le parallélisme sur une seule carte, choisissez Flash (après pip install "sophon-realtime[trt]", exécutez sophon-realtime serve) ; le mode Live est compatible avec le protocole OpenAI GPT-Live, permettant de déléguer les requêtes et les actions à un modèle backend plus grand
Risques
- Nécessite une carte graphique de niveau H100 avec 80 Go de VRAM (E2E utilise réellement environ 70 Go) ; selon l'officiel, sur une RTX PRO 6000, E2E ne peut suivre qu'environ 4–8 voies en parallèle
- La version E2E ne prend en charge que le chinois et l'anglais ; les évaluations sont auto-déclarées par l'officiel, certains scores de comparaison étant issus de classements tiers
- Le clonage de voix en zero-shot nécessite le code 1.3.0 ou supérieur et n'est disponible que via la méthode vLLM-Omni ; cette entrée n'a pas été exécutée