Le modèle de synthèse vocale en streaming de Maya Research : prend en charge 11 langues indiennes et l'anglais, produit une voix mono à 24 kHz, intègre 20 timbres synthétiques, permet également le clonage de timbre en zéro-shot avec des extraits audio de référence de 3 à 10 secondes, et fonctionne entre les langues (par exemple, utiliser un extrait de référence en hindi pour parler tamoul).
Score de montée 72 · J'aime 72 · Téléchargements 0
Raisons
- Officiellement annoncé avec 2.50 milliards de paramètres (environ 5.0 Go de poids BF16) : le tronc est initialisé à partir de Qwen3-1.7B-Base, ajoute un décodeur de profondeur d'environ 555 millions, utilise le codec Kyutai Mimi, produit une image audio toutes les 80 ms, permettant la lecture pendant la génération.
- Évaluation officielle sur 6,000 textes tenus en réserve (12 langues, 31 types de contenu, totalisant 20.3 heures d'audio) : le taux d'erreur de caractères global des trois évaluateurs ASR se situe entre 2.86% et 3.49% (scorer v1) ; les URL et le mélange anglais/langues indiennes restent difficiles, avec un taux d'erreur de caractères ASR-1 de 29.06% pour la catégorie URL.
- Officiellement annoncé : sur une seule carte H100 NVL, 224 flux WebSocket simultanés, latence du premier paquet en régime permanent p50 de 111 ms ; classé 2 au classement VoiceArena TTS temps réel hindi consulté le 27 10. Dépôt créé le 26 10, non inclus dans les éditions précédentes.
Utilisation
- Environnement : Linux, Python 3.10–3.12, GPU NVIDIA compatible CUDA 12.8 ; pip install "maya3[server] @ git+https://github.com/MayaResearch/maya2-native" --extra-index-url https://download.pytorch.org/whl/cu128（包名和类名仍叫 maya3 / Maya3TTS).
- Python : tts = Maya3TTS.from_pretrained("maya-research/maya2-native", max_seats=1) ; tts.generate(texte, lang="hi", voice="Ahana", normalize=True) renvoie une forme d'onde à 24 kHz ; l'interface Python nécessite de passer manuellement normalize=True pour convertir les nombres, devises et dates en lecture orale, utilisez tts.stream(...) pour le streaming.
- Clonage : tts.register_voice("my_voice", ref_audio=audio_de_référence, ref_text=transcription_littérale, lang=langue_de_référence), spécifiez la langue cible dans lang lors de la génération ; côté serveur : python -m maya3.server --ckpt maya-research/maya2-native --port 8080 --max-seats 1, fournit une interface compatible OpenAI /v1/audio/speech et un flux WebSocket.
Risques
- Ne prend pas en charge le chinois ; aucun timbre intégré n'a plus de 1 heures de données d'entraînement en assamais, ce qui peut entraîner un accent bengali ; les timbres sont instables pour les phrases courtes d'un ou deux mots.
- Officiellement annoncé : pic de mémoire d'environ 9.2 Go pour une seule instance chargée (plus le contexte CUDA), une carte graphique de 12 Go ou plus est recommandée ; le serveur intégré n'a pas d'authentification, il faut l'ajouter soi-même avant l'exposition publique.
- Pas de filigrane audio, officiellement requis de ne cloner que la voix de la personne elle-même ou d'une personne autorisée ; la similarité de clonage n'a pas été évaluée spécifiquement, tous les scores sont des évaluations automatiques ASR et de reconnaissance du locuteur, sans évaluation humaine de la naturalité, ni comparaison avec d'autres TTS.