Оригинальное название: WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
Большинство современных систем TTS полагаются на отдельно обучаемые промежуточные представления: нейронные аудиокодеки, вокодеры мел-спектра или латентное пространство VAE, а также предсказатели длительности для выравнивания. WaveGen с помощью Spectral Forcing одновременно обучает внутренние спектральные траектории и целевые траектории аудиоволны в рамках одной модели; выравнивание текста и речи также выполняется внутри модели без использования таких самообучаемых признаков, как текстовые эмбеддинги BERT или семантические представления Wav2Vec 2.0. Авторы масштабировали модель с 0.1B до 0.6B параметров, используя только открытые данные Emilia для одноэтапного обучения; сообщается, что на наборе Seed-en показатель WER составляет 1.47, а сходство говорящих — 0.75, что является лучшим результатом среди моделей TTS, обученных на данных Emilia. Статья принята на конференцию NeurIPS 2026.
Почему это важно Устранение внешних модулей, таких как вокодеры, аудиокодеки и предсказатели длительности, позволяет использовать единую модель с одноэтапным обучением, что упрощает конвейер синтеза речи
Лайков: 14 · Звёзд на GitHub: 30
Причины
- В репозитории опубликованы три чекпойнта: версия предобученной модели, рекомендуемая версия V-Spec (WER на Seed-en составляет 1.39, CER на Seed-zh — 1.65) и WaveGen-Flash с семплированием за 4 шагов
- Код для обучения, инференса и оценки, а также локальная демонстрация в Gradio доступны; поддерживаются китайский и английский языки
Использование
- Код: https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen (поместите в каталог ckpts/)
- После установки через
pip install -e .используйтеwavegen_infer-cliс параметрами--ref_audio(референсный аудиофайл),--ref_text(его текстовая расшифровка) и--gen_textдля генерации; также можно запустить веб-демо черезpython app.py
Риски
- Код распространяется под лицензией MIT, но чекпойнты имеют лицензию CC BY-NC 4.0, что запрещает коммерческое использование
- Возможно клонирование голоса с использованием референсной записи; авторы требуют получать согласие говорящего и указывать на то, что контент создан ИИ; автоматическая фильтрация безопасности в репозитории отсутствует
- Для версии Flash опубликованы только код инференса и веса; метод дистилляции при обучении не раскрыт; данный пункт не был проверен на практике