Titre original : adventists-ai/Sophon-Realtime-v1
Page d'accueil de la famille de modèles de dialogue vocal full-duplex d'Adventists AI. Les trois versions partagent le même modèle de 32B paramètres chargé de l'écoute, de la détection des tours de parole et de la rédaction des réponses ; la seule différence réside dans la méthode de synthèse vocale : Tag (recommandé) fait générer par le modèle des réponses avec des balises vocales, qu'un modèle vocal expressif interprète ensuite en rires, soupirs, raclements de gorge, etc. ; Flash utilise un modèle vocal plus léger et rapide, avec une latence audio initiale annoncée officiellement à 0.31 secondes pour un utilisateur unique ; E2E est une préversion de recherche end-to-end. Les scores officiels indiquent 82.8 sur VoiceBench et 81.8% sur Big Bench Audio, plaçant ce modèle en tête des modèles full-duplex open source. Il prend en charge les interruptions et les acquiescements, et dispose d'une passerelle compatible avec le protocole OpenAI GPT-Live, permettant de déléguer les requêtes et les actions à un grand modèle de langage backend.
Pourquoi c'est important Il est rare dans le domaine de la conversation vocale en temps réel open source de trouver un modèle capable de percevoir le ton et de répondre par des rires ou des soupirs ; il est déployable sur une seule carte graphique et utilisable à des fins commerciales
Score de progression 63 · J'aime 65 · Téléchargements 0
Raisons
- Capable de percevoir les nuances tonales telles que l'hésitation, l'emphase, l'ironie ou les rires, et de répondre avec un ton approprié
- Les versions Tag et Flash peuvent être déployées sur une seule carte graphique de 80 Go via une seule commande avec vLLM-Omni, selon les informations officielles
- Le code et les poids sont sous licence Apache-2.0, utilisables commercialement ; le fine-tuning via LoRA est pris en charge pour adapter la persona, le ton et les connaissances du domaine
Utilisation
- Après
pip install sophon-realtime, exécutezsophon-realtime serve(le premier lancement téléchargera environ 42 Go de poids pour la version Tag) - Pour une simple écoute, vous pouvez utiliser l'espace de démonstration en ligne sur ModelScope ; les poids de déploiement se trouvent dans les deux dépôts Sophon-Realtime-32B-Tag et Flash
Risques
- Ce dépôt est la page d'accueil de la famille ; le déploiement nécessite les poids des dépôts Tag ou Flash, et la base pour le fine-tuning est hébergée sur ModelScope
- Les évaluations sont principalement réalisées par les éditeurs eux-mêmes et notées par un grand modèle de langage
- Cette entrée n'a pas été testée ; les performances réelles sont à vérifier sur la fiche du modèle