VoxMel : Synthèse vocale autoregressive sans tokenizer acoustique

La synthèse vocale autoregressive continue apprend généralement d'abord une représentation acoustique compressée (comme les variables latentes d'un VAE), mais l'encodeur limite la fidélité ; l'utilisation directe du spectrogramme de Mel ne nécessite pas d'encodeur, mais il est difficile de la modéliser de manière stable en mode autoregressive. VoxMel utilise une transformée de Haar bidimensionnelle fixe et parfaitement réversible pour décomposer le spectrogramme de Mel : d'abord selon la fréquence en une moyenne locale et un résidu de fréquence, puis selon le temps en un Mel grossier (Coarse-Mel) et un résidu temporel. Le backbone du modèle de langage, associé à une tête de flux matching, génère uniquement la partie grossière en mode autoregressive, tandis que deux couches non autoregressives complètent successivement le résidu temporel et le résidu de fréquence, sans réinjecter les résidus dans l'historique autoregressive. Les auteurs rapportent que le modèle de 0.6B paramètres, entraîné sur 100K heures de données Emilia, atteint un WER de 1.51% en anglais et un CER de 1.29% en chinois, améliorés à 1.15% et 1.17% après GRPO ; la tête de flux matching a également permis de distiller des versions en deux et quatre étapes.

Titre original : Rapport technique VoxMel TTS

La synthèse vocale autoregressive continue apprend généralement d'abord une représentation acoustique compressée (comme les variables latentes d'un VAE), mais l'encodeur limite la fidélité ; l'utilisation directe du spectrogramme de Mel ne nécessite pas d'encodeur, mais il est difficile de la modéliser de manière stable en mode autoregressive. VoxMel utilise une transformée de Haar bidimensionnelle fixe et parfaitement réversible pour décomposer le spectrogramme de Mel : d'abord selon la fréquence en une moyenne locale et un résidu de fréquence, puis selon le temps en un Mel grossier (Coarse-Mel) et un résidu temporel. Le backbone du modèle de langage, associé à une tête de flux matching, génère uniquement la partie grossière en mode autoregressive, tandis que deux couches non autoregressives complètent successivement le résidu temporel et le résidu de fréquence, sans réinjecter les résidus dans l'historique autoregressive. Les auteurs rapportent que le modèle de 0.6B paramètres, entraîné sur 100K heures de données Emilia, atteint un WER de 1.51% en anglais et un CER de 1.29% en chinois, améliorés à 1.15% et 1.17% après GRPO ; la tête de flux matching a également permis de distiller des versions en deux et quatre étapes.

Pourquoi c'est important Les modèles à petits paramètres permettent le clonage vocal zero-shot en chinois et en anglais ; les auteurs affirment que le taux d'erreur de mots (WER) en anglais est inférieur à celui de plusieurs modèles plus grands ; le code et les poids sont publiés sous licence Apache.

J'aime 22 · Étoiles GitHub 92

Raisons

  • Les poids VoxMel-0.6B et VoxMel-0.3B ont été publiés, seul le modèle 0.6B a subi un post-entraînement GRPO
  • Aucun tokenizer acoustique n'est nécessaire pour l'entraînement ; le côté texte utilise directement le tokenizer Qwen2.5, et le son final est généré par le vocoder Vocos à 24kHz
  • Une interface Python, une ligne de commande voxmel et une démonstration web Gradio sont fournies ; l'intensité du guidage par le texte et par le timbre peut être réglée séparément

Utilisation

  • Code : https://github.com/VoxDance-Lab/VoxMel(Apache-2.0);权重在抱脸 VoxDance-Lab/VoxMel-0.6B, les poids du vocoder Vocos doivent être préparés séparément
  • Après pip install -e ., générez avec voxmel --model <dossier_des_poids> --vocos-path <dossier_Vocos> --prompt-audio reference.wav --prompt-text "texte de référence" --text "texte à synthétiser" ; définir device sur auto permet une sélection automatique entre CUDA, MPS et CPU

Risques

  • Le clonage vocal nécessite une transcription exacte de l'audio de référence ; obtenez le consentement de la personne avant d'imiter sa voix
  • Les versions distillées en deux et quatre étapes mentionnées dans le papier ne sont pas listées dans le README pour le téléchargement ; le support des opérateurs et la vitesse sur MPS doivent encore être vérifiés selon les auteurs
  • Les résultats sont rapportés par les auteurs ; cette entrée n'a pas été exécutée

Ouvrir · Code · Page du papier

Hugging Face Daily Papers

Parcourir les dernières actualités IA