Sophon-Realtime v1 : un modèle vocal full-duplex capable de percevoir le ton, de rire et de soupirer

Page d'accueil de la famille de modèles de dialogue vocal full-duplex d'Adventists AI. Les trois versions partagent le même modèle de 32B paramètres chargé de l'écoute, de la détection des tours de parole et de la rédaction des réponses ; la seule différence réside dans la méthode de synthèse vocale : Tag (recommandé) fait générer par le modèle des réponses avec des balises vocales, qu'un modèle vocal expressif interprète ensuite en rires, soupirs, raclements de gorge, etc. ; Flash utilise un modèle vocal plus léger et rapide, avec une latence audio initiale annoncée officiellement à 0.31 secondes pour un utilisateur unique ; E2E est une préversion de recherche end-to-end. Les scores officiels indiquent 82.8 sur VoiceBench et 81.8% sur Big Bench Audio, plaçant ce modèle en tête des modèles full-duplex open source. Il prend en charge les interruptions et les acquiescements, et dispose d'une passerelle compatible avec le protocole OpenAI GPT-Live, permettant de déléguer les requêtes et les actions à un grand modèle de langage backend.

Titre original : adventists-ai/Sophon-Realtime-v1

Page d'accueil de la famille de modèles de dialogue vocal full-duplex d'Adventists AI. Les trois versions partagent le même modèle de 32B paramètres chargé de l'écoute, de la détection des tours de parole et de la rédaction des réponses ; la seule différence réside dans la méthode de synthèse vocale : Tag (recommandé) fait générer par le modèle des réponses avec des balises vocales, qu'un modèle vocal expressif interprète ensuite en rires, soupirs, raclements de gorge, etc. ; Flash utilise un modèle vocal plus léger et rapide, avec une latence audio initiale annoncée officiellement à 0.31 secondes pour un utilisateur unique ; E2E est une préversion de recherche end-to-end. Les scores officiels indiquent 82.8 sur VoiceBench et 81.8% sur Big Bench Audio, plaçant ce modèle en tête des modèles full-duplex open source. Il prend en charge les interruptions et les acquiescements, et dispose d'une passerelle compatible avec le protocole OpenAI GPT-Live, permettant de déléguer les requêtes et les actions à un grand modèle de langage backend.

Pourquoi c'est important Il est rare dans le domaine de la conversation vocale en temps réel open source de trouver un modèle capable de percevoir le ton et de répondre par des rires ou des soupirs ; il est déployable sur une seule carte graphique et utilisable à des fins commerciales

Score de progression 63 · J'aime 65 · Téléchargements 0

Raisons

  • Capable de percevoir les nuances tonales telles que l'hésitation, l'emphase, l'ironie ou les rires, et de répondre avec un ton approprié
  • Les versions Tag et Flash peuvent être déployées sur une seule carte graphique de 80 Go via une seule commande avec vLLM-Omni, selon les informations officielles
  • Le code et les poids sont sous licence Apache-2.0, utilisables commercialement ; le fine-tuning via LoRA est pris en charge pour adapter la persona, le ton et les connaissances du domaine

Utilisation

  • Après pip install sophon-realtime, exécutez sophon-realtime serve (le premier lancement téléchargera environ 42 Go de poids pour la version Tag)
  • Pour une simple écoute, vous pouvez utiliser l'espace de démonstration en ligne sur ModelScope ; les poids de déploiement se trouvent dans les deux dépôts Sophon-Realtime-32B-Tag et Flash

Risques

  • Ce dépôt est la page d'accueil de la famille ; le déploiement nécessite les poids des dépôts Tag ou Flash, et la base pour le fine-tuning est hébergée sur ModelScope
  • Les évaluations sont principalement réalisées par les éditeurs eux-mêmes et notées par un grand modèle de langage
  • Cette entrée n'a pas été testée ; les performances réelles sont à vérifier sur la fiche du modèle

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA