原题:VoxMel TTS Technical Report
连续自回归语音合成通常先学一个压缩的声学表示(如 VAE 潜变量),但编码器会限制保真度;直接用梅尔谱不需要编码器,却难以稳定地自回归建模。VoxMel 用固定、可精确还原的两轴 Haar 变换拆分梅尔谱:先沿频率拆成局部平均和频率残差,再沿时间拆出粗粒度梅尔(Coarse-Mel)和时间残差。语言模型主干加流匹配头只自回归生成粗粒度部分,两个非自回归层依次补出时间残差和频率残差,残差不回灌到自回归历史。作者称在 100K 小时 Emilia 上训练的 0.6B 模型英文 WER 1.51%、中文 CER 1.29%,经 GRPO 后为 1.15% 和 1.17%;流匹配头还蒸馏出两步、四步版本。
为什么重要 小参数模型做中英零样本声音克隆,作者称英文词错率低于多款更大的模型;代码和权重都用 Apache 许可开源
点赞 22 · 代码星数 92
理由
- 已放出 VoxMel-0.6B 和 VoxMel-0.3B 两个权重,只有 0.6B 做过 GRPO 后训练
- 不需要训练声学分词器,文本端直接用 Qwen2.5 分词器,最后由 24kHz 的 Vocos 声码器出声音
- 提供 Python 接口、voxmel 命令行和 Gradio 网页演示,文本引导和音色引导强度可以分开调
用法
- 代码:https://github.com/VoxDance-Lab/VoxMel(Apache-2.0);权重在抱脸 VoxDance-Lab/VoxMel-0.6B,Vocos 声码器权重要另外准备
- pip install -e . 后用 voxmel --model <权重目录> --vocos-path <Vocos 目录> --prompt-audio reference.wav --prompt-text "参考音频原文" --text "要合成的话" 生成;device 设 auto 可在 CUDA、MPS、CPU 间自动选择
风险
- 声音克隆必须提供参考音频的准确文字稿;模仿他人声音前要取得本人同意
- 论文里的两步、四步蒸馏版 README 没有列出下载;MPS 上的算子支持和速度作者说还要验证
- 成绩为作者报告;本条未运行