Sophon-Realtime-4B-Flash est un modèle de dialogue vocal en duplex intégral open source par adventists-ai : il écoute en continu pendant que vous parlez, détermine si vous avez terminé grâce à l'analyse du son, puis commence à parler tout en rédigeant une réponse contenant des balises vocales telles que [laughter] et [sigh], le tout lu par un modèle vocal plus léger à raison d'une frame toutes les 80 millisecondes. Selon la documentation officielle, il fonctionne sur une seule carte graphique de 24 Go (avec une occupation mémoire d'environ 21 Go) ; sur une RTX PRO 6000, le premier segment audio est généré en environ 0.21 secondes, avec une moyenne de 87.7 sur les quatre métriques du benchmark Full-Duplex-Bench v1.0. Il est déployé en tant que modèle vLLM-Omni et expose les interfaces /v1/realtime et /v1/chat/completions ; la même série propose également une version Tag plus expressive et une version E2E de bout en bout (nécessitant toutes deux une carte graphique de 32 Go).
Pourquoi c'est important La version 32B de la même série nécessite des cartes graphiques plus puissantes ; la version 4B conserve les balises vocales pour les interruptions, les réponses et les rires/soupirs, ce qui la rend adaptée à la conversation locale et au jeu de rôle, mais ses connaissances sont nettement moins étendues.
J'aime sur Hugging Face 6 · Score de popularité sur Hugging Face 5 · Téléchargements sur Hugging Face 31
Licence : usage commercial autorisé · ComfyUI : non disponible · Mémoire vidéo requise : 32 Go
Raisons
- Licence Apache-2.0, téléchargeable sur Hugging Face et ModelScope, avec un espace de démonstration en ligne sur Hugging Face
- La fiche du modèle détaille l'écart de performances entre les versions 4B et 32B, les conditions de mesure et les cas d'usage appropriés
Utilisation
- Après un git clone https://github.com/adventists-ai/sophon-realtime, accédez au répertoire flash et exécutez bash install.sh ; utilisez hf download adventists-ai/Sophon-Realtime-4B-Flash --local-dir ./model, puis lancez GPU=0 PORT=8000 bash start.sh, et interagissez via python client_example.py --url http://127.0.0.1:8000
Risques
- Selon la documentation officielle, les connaissances et le raisonnement de la version 4B sont nettement inférieurs à ceux de la version 32B (VoiceBench : 62.4 contre 82.8) ; elle peut affirmer avec assurance des faits erronés, il est donc recommandé d'utiliser la version 32B lorsque l'exactitude des réponses est cruciale
- Ne traite que l'audio, sans vision ; prend en charge le clonage vocal zero-shot, mais uniquement pour votre propre voix ou des voix dûment autorisées ; l'API hébergée recommandée au début de la fiche du modèle est un service payant officiel