WaveGen:不用声码器和编解码器,直接从文字生成波形

现在的 TTS 大多依赖单独训练的中间表示:神经音频编解码器、梅尔频谱声码器或 VAE 潜空间,还要时长预测器做对齐。WaveGen 用 Spectral Forcing 在一个模型里同时学习内部频谱轨迹和目标波形轨迹,文本和语音的对齐也在模型内部完成,不用 BERT 文本嵌入、Wav2Vec 2.0 语义表示等自监督特征。作者把模型从 0.1B 扩到 0.6B,只用开源的 Emilia 数据一段训练;称在 Seed-en 上 WER 1.47、说话人相似度 0.75,是用 Emilia 训练的 TTS 模型里最好的。论文已被 NeurIPS 2026 接收。

原题:WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

现在的 TTS 大多依赖单独训练的中间表示:神经音频编解码器、梅尔频谱声码器或 VAE 潜空间,还要时长预测器做对齐。WaveGen 用 Spectral Forcing 在一个模型里同时学习内部频谱轨迹和目标波形轨迹,文本和语音的对齐也在模型内部完成,不用 BERT 文本嵌入、Wav2Vec 2.0 语义表示等自监督特征。作者把模型从 0.1B 扩到 0.6B,只用开源的 Emilia 数据一段训练;称在 Seed-en 上 WER 1.47、说话人相似度 0.75,是用 Emilia 训练的 TTS 模型里最好的。论文已被 NeurIPS 2026 接收。

为什么重要 去掉声码器、音频编解码器、时长预测器等外部模块,单一模型一段训练,简化语音合成流水线

点赞 14 · 代码星数 30

理由

  • 仓库放出三个检查点:预训练版、推荐使用的 V-Spec 版(Seed-en WER 1.39,Seed-zh CER 1.65)和 4 步采样的 WaveGen-Flash
  • 训练、推理、评测代码和本地 Gradio 演示都在,同时支持中英文

用法

  • 代码:https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen(放到 ckpts/ 下)
  • pip install -e . 后用 wavegen_infer-cli 指定 --ref_audio(参考音频)、--ref_text(其文字)和 --gen_text 生成;也可 python app.py 开网页演示

风险

  • 代码 MIT,但检查点为 CC BY-NC 4.0,不能商用
  • 能用参考录音克隆声音,作者要求取得说话人同意并标明 AI 生成,仓库没有自动安全过滤
  • Flash 版只放了推理代码和权重,蒸馏训练方法未公开;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态