VoxMel: авторегрессионный синтез речи без акустического токенизатора

Обычно непрерывный авторегрессионный синтез речи сначала обучает сжатое акустическое представление (например, латентные переменные VAE), но энкодер ограничивает точность воспроизведения; использование мел-спектра напрямую не требует энкодера, однако его сложно стабильно моделировать авторегрессионно. VoxMel использует фиксированное преобразование Хаара по двум осям с возможностью точного восстановления для разложения мел-спектра: сначала спектр разделяется вдоль частотной оси на локальное среднее и частотный остаток, затем вдоль временной оси выделяются грубый мел-спектр (Coarse-Mel) и временной остаток. Основная часть языковой модели с головой потока распределения генерирует авторегрессионно только грубую часть, а два неавторегрессионных слоя последовательно дополняют временной и частотный остатки; эти остатки не возвращаются в историю авторегрессии. Авторы сообщают, что модель размером 0.6B, обученная на 100K часов данных Emilia, достигает WER 1.51% для английского языка и CER 1.29% для китайского; после применения GRPO эти показатели составляют 1.15% и 1.17%. Голова потока распределения также дистиллирована в версии с двумя и четырьмя шагами.

Оригинальное название: Технический отчет VoxMel TTS

Обычно непрерывный авторегрессионный синтез речи сначала обучает сжатое акустическое представление (например, латентные переменные VAE), но энкодер ограничивает точность воспроизведения; использование мел-спектра напрямую не требует энкодера, однако его сложно стабильно моделировать авторегрессионно. VoxMel использует фиксированное преобразование Хаара по двум осям с возможностью точного восстановления для разложения мел-спектра: сначала спектр разделяется вдоль частотной оси на локальное среднее и частотный остаток, затем вдоль временной оси выделяются грубый мел-спектр (Coarse-Mel) и временной остаток. Основная часть языковой модели с головой потока распределения генерирует авторегрессионно только грубую часть, а два неавторегрессионных слоя последовательно дополняют временной и частотный остатки; эти остатки не возвращаются в историю авторегрессии. Авторы сообщают, что модель размером 0.6B, обученная на 100K часов данных Emilia, достигает WER 1.51% для английского языка и CER 1.29% для китайского; после применения GRPO эти показатели составляют 1.15% и 1.17%. Голова потока распределения также дистиллирована в версии с двумя и четырьмя шагами.

Почему это важно Модели с небольшим количеством параметров выполняют нулевое клонирование голоса для китайского и английского языков; авторы заявляют, что уровень ошибок слов (WER) для английского языка ниже, чем у многих более крупных моделей. Код и веса выпущены под лицензией Apache.

Лайки: 22 · Звезды на GitHub: 92

Причины

  • Выпущены веса VoxMel-0.6B и VoxMel-0.3B; постобучение с помощью GRPO выполнено только для модели 0.6B.
  • Не требуется обучение акустического токенизатора; на текстовой стороне используется токенизатор Qwen2.5, а финальный аудиосигнал формируется вокодером Vocos с частотой дискретизации 24 кГц.
  • Предоставлены интерфейс Python, командная строка voxmel и веб-демо на Gradio; интенсивность управления текстом и тембром можно регулировать отдельно.

Использование

  • Код: https://github.com/VoxDance-Lab/VoxMel(Apache-2.0);权重在抱脸 VoxDance-Lab/VoxMel-0.6B; веса вокодера Vocos необходимо подготовить отдельно.
  • После установки через pip install -e . генерация выполняется командой voxmel --model <каталог_весов> --vocos-path <каталог_Vocos> --prompt-audio reference.wav --prompt-text "оригинальный текст референсного аудио" --text "текст для синтеза"; параметр device, установленный в auto, позволяет автоматически выбирать между CUDA, MPS и CPU.

Риски

  • Для клонирования голоса требуется точная текстовая расшифровка референсного аудио; перед имитацией чужого голоса необходимо получить согласие владельца.
  • В README не указаны ссылки на загрузку дистиллированных версий с двумя и четырьмя шагами, упомянутых в статье; поддержка операторов и скорость работы на MPS, по словам авторов, требуют дополнительной проверки.
  • Результаты приведены со слов авторов; данная запись не была проверена экспериментально.

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ