Le modèle de synthèse vocale multilingue 0.6B d'Edge0, version améliorée d'Audio8-TTS-Preview : il permet le clonage de voix en zéro-shot à partir d'un enregistrement de référence et de sa transcription mot à mot, ou la synthèse directe sans référence ; il prend en charge 23 langues dont le chinois, le cantonais, l'anglais, le japonais et le coréen (soit 12 langues de plus que Preview), avec une sortie audio de 44.1 kHz.
Score d'ascension 118 · J'aime 119 · Téléchargements 813
Raison
- Reprend la structure DualAR de Fish Audio S2 Pro : l'auto-régression lente prédit un jeton sémantique par image, tandis que l'auto-régression rapide génère 10 livres de codes ; le modèle principal compte 601 M de paramètres (hors le codec de 44.1 kHz fourni avec le dépôt), et le dépôt contient les points de contrôle, le codec, le tokenizer et le code complets.
- Selon les chiffres officiels, Seed-TTS affiche un taux d'erreur de 1.25 pour le chinois et l'anglais (Preview 1.23) et une similarité de locuteur de 0.704 (Preview 0.682) ; MiniMax affiche un taux d'erreur de 5.89 sur 24 langues, meilleur que les 27.41 de Qwen3-TTS-1.7B, mais inférieur à ceux de Higgs Audio v3 (2.74) et de Fish S2 Pro (4.40), tous deux de la classe 4B. Les chiffres officiels précisent également que ces métriques ne mesurent que l'intelligibilité et la similarité de timbre, et non directement le « réalisme ».
- Il existe un Playground Hugging Face sans installation, et le plugin SGLang Omni fournit une interface compatible OpenAI /v1/audio/speech ; sous licence Apache-2.0, il n'avait pas été inclus dans les numéros précédents.
Utilisation
- Ligne de commande : git clone Edge0-AI/Audio8_TTS, pip install -r requirements.txt, python audio8_tts_infer.py --model Edge0/Audio8-TTS-Réaliste-0.6b --text "Texte à synthétiser" --output outputs/realistic.wav ; pour le clonage de voix, ajoutez --reference-audio reference.wav --reference-text "Transcription de l'enregistrement de référence" (doit correspondre exactement au contenu audio).
- Transformers (version 4.57 jusqu'à 5, avec trust_remote_code=True) : passez text, reference_audio et reference_text au processor, utilisez temperature 0.8, top_p 0.95 et top_k 50 pour generate, puis décodez le waveform avec model.decode_audio.
- Les longs paragraphes doivent être divisés en phrases courtes : l'audio de référence, la transcription et le texte cible partagent un contexte de 2,048 positions.
Risques
- La qualité varie considérablement selon les langues : sur CV3, le taux d'erreur est de 48.574 pour le thaï et 32.279 pour le finnois ; sur l'ensemble MiniMax, il est de 31.349 pour le cantonais. La liste des langues prises en charge ne garantit pas une disponibilité égale.
- Les tests de faisabilité n'ont été effectués que sur H20 BF16, sans mesure du débit ni du streaming ; des erreurs de lecture, répétitions, omissions ou arrêts prématurés peuvent survenir, et les officiels recommandent une écoute attentive avant toute utilisation finale. Cette rubrique n'a pas testé les exemples.
- Le clonage de la voix d'autrui nécessite une autorisation et l'indication que l'audio est synthétique si requis.