Titre original : WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
La plupart des systèmes TTS actuels reposent sur des représentations intermédiaires entraînées séparément : codecs audio neuronaux, vocodeurs de spectrogrammes mel ou espaces latents VAE, ainsi que des prédicteurs de durée pour l'alignement. WaveGen utilise le Spectral Forcing pour apprendre simultanément, au sein d'un seul modèle, la trajectoire spectrale interne et la trajectoire de la forme d'onde cible ; l'alignement entre le texte et la parole est également réalisé en interne, sans recourir à des caractéristiques auto-supervisées telles que les embeddings textuels BERT ou les représentations sémantiques Wav2Vec 2.0. Les auteurs ont étendu le modèle de 0.1B à 0.6B, en l'entraînant en une seule étape uniquement sur les données open source Emilia ; ils affirment obtenir un WER de 1.47 et une similarité de locuteur de 0.75 sur Seed-en, ce qui en fait le meilleur modèle TTS entraîné sur Emilia. L'article a été accepté par NeurIPS 2026.
Pourquoi c'est important Élimination des modules externes tels que les vocodeurs, les codecs audio et les prédicteurs de durée, avec un modèle unique entraîné en une seule étape, simplifiant ainsi la chaîne de traitement de la synthèse vocale
J'aime 14 · Étoiles du code 30
Raisons
- Le dépôt publie trois points de contrôle : la version pré-entraînée, la version V-Spec recommandée (WER Seed-en 1.39, CER Seed-zh 1.65) et WaveGen-Flash avec échantillonnage en 4 pas
- Le code d'entraînement, d'inférence et d'évaluation ainsi qu'une démonstration locale Gradio sont disponibles, avec prise en charge simultanée du chinois et de l'anglais
Utilisation
- Code : https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen (à placer dans le dossier ckpts/)
- Après
pip install -e ., utilisezwavegen_infer-clien spécifiant--ref_audio(audio de référence),--ref_text(son texte) et--gen_textpour générer ; vous pouvez également lancerpython app.pypour ouvrir la démonstration web
Risques
- Le code est sous licence MIT, mais les points de contrôle sont sous licence CC BY-NC 4.0, ce qui interdit toute utilisation commerciale
- La voix peut être clonée à partir d'un enregistrement de référence ; les auteurs exigent le consentement du locuteur et l'indication claire de la génération par IA, mais le dépôt ne propose aucun filtre de sécurité automatique
- La version Flash ne fournit que le code d'inférence et les poids ; la méthode d'entraînement par distillation n'est pas publiée ; cette entrée n'a pas été exécutée