原题:WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
现在的 TTS 大多依赖单独训练的中间表示:神经音频编解码器、梅尔频谱声码器或 VAE 潜空间,还要时长预测器做对齐。WaveGen 用 Spectral Forcing 在一个模型里同时学习内部频谱轨迹和目标波形轨迹,文本和语音的对齐也在模型内部完成,不用 BERT 文本嵌入、Wav2Vec 2.0 语义表示等自监督特征。作者把模型从 0.1B 扩到 0.6B,只用开源的 Emilia 数据一段训练;称在 Seed-en 上 WER 1.47、说话人相似度 0.75,是用 Emilia 训练的 TTS 模型里最好的。论文已被 NeurIPS 2026 接收。
为什么重要 去掉声码器、音频编解码器、时长预测器等外部模块,单一模型一段训练,简化语音合成流水线
点赞 14 · 代码星数 30
理由
- 仓库放出三个检查点:预训练版、推荐使用的 V-Spec 版(Seed-en WER 1.39,Seed-zh CER 1.65)和 4 步采样的 WaveGen-Flash
- 训练、推理、评测代码和本地 Gradio 演示都在,同时支持中英文
用法
- 代码:https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen(放到 ckpts/ 下)
- pip install -e . 后用 wavegen_infer-cli 指定 --ref_audio(参考音频)、--ref_text(其文字)和 --gen_text 生成;也可 python app.py 开网页演示
风险
- 代码 MIT,但检查点为 CC BY-NC 4.0,不能商用
- 能用参考录音克隆声音,作者要求取得说话人同意并标明 AI 生成,仓库没有自动安全过滤
- Flash 版只放了推理代码和权重,蒸馏训练方法未公开;本条未运行