WaveGen: генерация аудиоволны напрямую из текста без использования вокодеров и аудиокодеков

Большинство современных систем TTS полагаются на отдельно обучаемые промежуточные представления: нейронные аудиокодеки, вокодеры мел-спектра или латентное пространство VAE, а также предсказатели длительности для выравнивания. WaveGen с помощью Spectral Forcing одновременно обучает внутренние спектральные траектории и целевые траектории аудиоволны в рамках одной модели; выравнивание текста и речи также выполняется внутри модели без использования таких самообучаемых признаков, как текстовые эмбеддинги BERT или семантические представления Wav2Vec 2.0. Авторы масштабировали модель с 0.1B до 0.6B параметров, используя только открытые данные Emilia для одноэтапного обучения; сообщается, что на наборе Seed-en показатель WER составляет 1.47, а сходство говорящих — 0.75, что является лучшим результатом среди моделей TTS, обученных на данных Emilia. Статья принята на конференцию NeurIPS 2026.

Оригинальное название: WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

Большинство современных систем TTS полагаются на отдельно обучаемые промежуточные представления: нейронные аудиокодеки, вокодеры мел-спектра или латентное пространство VAE, а также предсказатели длительности для выравнивания. WaveGen с помощью Spectral Forcing одновременно обучает внутренние спектральные траектории и целевые траектории аудиоволны в рамках одной модели; выравнивание текста и речи также выполняется внутри модели без использования таких самообучаемых признаков, как текстовые эмбеддинги BERT или семантические представления Wav2Vec 2.0. Авторы масштабировали модель с 0.1B до 0.6B параметров, используя только открытые данные Emilia для одноэтапного обучения; сообщается, что на наборе Seed-en показатель WER составляет 1.47, а сходство говорящих — 0.75, что является лучшим результатом среди моделей TTS, обученных на данных Emilia. Статья принята на конференцию NeurIPS 2026.

Почему это важно Устранение внешних модулей, таких как вокодеры, аудиокодеки и предсказатели длительности, позволяет использовать единую модель с одноэтапным обучением, что упрощает конвейер синтеза речи

Лайков: 14 · Звёзд на GitHub: 30

Причины

  • В репозитории опубликованы три чекпойнта: версия предобученной модели, рекомендуемая версия V-Spec (WER на Seed-en составляет 1.39, CER на Seed-zh — 1.65) и WaveGen-Flash с семплированием за 4 шагов
  • Код для обучения, инференса и оценки, а также локальная демонстрация в Gradio доступны; поддерживаются китайский и английский языки

Использование

  • Код: https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen (поместите в каталог ckpts/)
  • После установки через pip install -e . используйте wavegen_infer-cli с параметрами --ref_audio (референсный аудиофайл), --ref_text (его текстовая расшифровка) и --gen_text для генерации; также можно запустить веб-демо через python app.py

Риски

  • Код распространяется под лицензией MIT, но чекпойнты имеют лицензию CC BY-NC 4.0, что запрещает коммерческое использование
  • Возможно клонирование голоса с использованием референсной записи; авторы требуют получать согласие говорящего и указывать на то, что контент создан ИИ; автоматическая фильтрация безопасности в репозитории отсутствует
  • Для версии Flash опубликованы только код инференса и веса; метод дистилляции при обучении не раскрыт; данный пункт не был проверен на практике

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ