Titre original : Edge0/Audio8-TTS-Realistic-Air
Modèle de synthèse vocale entraîné en continu par Edge0 sur Audio8-TTS-Preview-0.6b : modèle principal de 0.6B (601,159,424 paramètres, hors codec de 44.1 kHz fourni séparément), l'auteur affirme une parole plus naturelle et une prosodie plus expressive ; prend en charge 23 langues, avec l'ajout de l'arabe, du finnois, de l'hindi, de l'indonésien, du malais, du norvégien, du portugais, du russe, du suédois, du thaï, du turc et du vietnamien par rapport à la version Preview, soit 12 nouvelles langues, incluant le chinois, le cantonais, l'anglais, le japonais et le coréen. Le clonage de timbre en zéro-shot est possible en fournissant un enregistrement de référence et une transcription mot à mot, mais la synthèse directe sans référence est également prise en charge. L'architecture s'inspire du DualAR de Fish Audio S2 Pro : l'AR lent prédit un jeton sémantique par image, tandis que l'AR rapide prédit les 10 livres de codes de cette image. Le dépôt a été créé le 10 14, il n'a pas été inclus dans les numéros précédents.
Score de montée 252 · J'aime 318 · Téléchargements 11349
Raisons
- Petit modèle, multilingue : l'auteur indique un taux d'erreur moyen Seed-TTS de 1.25% pour le chinois et l'anglais (Preview 1.23%) et une similarité de locuteur de 0.704 (Preview 0.682) ; le taux d'erreur sur les huit langues communes de CV3 est passé de 4.80% à 4.56%. L'auteur précise également que ces métriques mesurent l'intelligibilité et la similarité, et non directement le « réalisme ».
- Chemin de déploiement complet : chargement direct via Transformers (codec inclus, aucune recherche supplémentaire nécessaire), avec en plus un plugin SGLang Omni offrant l'attention paginée, le traitement par lots dynamique et une interface /v1/audio/speech compatible OpenAI ; le dépôt GitHub contient également des scripts en ligne de commande, de traitement par lots et de réglage fin supervisé.
- Licence Apache-2.0, avec un Space d'essai en ligne ZeroGPU ; nombre de J'aime sur Hugging Face 318 (indique uniquement le niveau d'attention).
Utilisation
- pip install "torch>=2.5.0" "torchaudio>=2.5.0" "transformers>=4.57.0,<5" soundfile safetensors ; AutoProcessor / AutoModel.from_pretrained('Edge0/Audio8-TTS-Realistic-Air', trust_remote_code=True), lors du clonage, fournir reference_audio et reference_text correspondant mot à mot à l'enregistrement, puis après generate(max_new_tokens=1024, temperature=0.8, top_p=0.95, top_k=50, do_sample=True, return_dict_in_generate=True), utiliser model.decode_audio(output.codes) pour écrire un fichier wav.
- Pour ne pas utiliser de timbre de référence, ne passer que le texte au processor ; l'enregistrement de référence doit être propre, les textes longs doivent être divisés en plusieurs segments avant la synthèse (l'audio de référence, la transcription et le texte cible partagent le contexte). Pour le service, utiliser la configuration sglang_omni audio8_tts_0_6b.yaml du dépôt GitHub Edge0-AI/Audio8_TTS, en indiquant le chemin de ce dépôt comme chemin du modèle.
Risques
- Grandes différences entre les langues : dans le tableau CV3 de l'auteur, le CER du chinois est de 1.814%, le WER de l'anglais de 2.907%, tandis que le thaï atteint 48.574%, le finnois 32.279% et le vietnamien 28.111% ; le CER sur les cas difficiles en chinois est légèrement supérieur à celui de la version Preview (11.510% → 12.797%).
- Le service SGLang n'a été validé que sur H20 (non-streaming, torch.compile et CUDA Graph désactivés), sans tests de débit ni de streaming. L'auteur avertit qu'il peut y avoir des erreurs de lecture, des répétitions, des omissions ou des arrêts prématurés ; il faut écouter chaque résultat avant la finalisation.
- Le clonage de la voix d'autrui nécessite une autorisation préalable, et les audios synthétiques doivent être clairement identifiés selon le contexte ; aucune mention de filigrane n'est faite dans la fiche.