Audio8-TTS-Realistic-Air:小参数多语种语音合成

Edge0 在 Audio8-TTS-Preview-0.6b 基础上继续训练的语音合成模型,主模型 6.01 亿参数(不含编解码器),沿用受 Fish Audio S2 Pro 启发的 DualAR 结构:慢自回归 transformer 每帧预测一个语义 token,快自回归 transformer 预测这一帧的 10 个码本。支持语言从预览版的 11 种增加到 23 种,新增阿拉伯、芬兰、印地、印尼、马来、挪威、葡萄牙、俄、瑞典、泰、土耳其、越南语。可以给参考录音和逐字稿做零样本音色克隆,也可以不给参考直接合成;仓库自带 44.1kHz 编解码器。

原题:Edge0/Audio8-TTS-Realistic-Air

Edge0 在 Audio8-TTS-Preview-0.6b 基础上继续训练的语音合成模型,主模型 6.01 亿参数(不含编解码器),沿用受 Fish Audio S2 Pro 启发的 DualAR 结构:慢自回归 transformer 每帧预测一个语义 token,快自回归 transformer 预测这一帧的 10 个码本。支持语言从预览版的 11 种增加到 23 种,新增阿拉伯、芬兰、印地、印尼、马来、挪威、葡萄牙、俄、瑞典、泰、土耳其、越南语。可以给参考录音和逐字稿做零样本音色克隆,也可以不给参考直接合成;仓库自带 44.1kHz 编解码器。

为什么重要 主模型只有六亿参数、Apache 许可,带 SGLang Omni 服务适配和兼容 OpenAI 的语音接口,适合本地或批量配音

上升分 52.5 · 点赞 514 · 下载量 18680

理由

  • 官方称 Seed-TTS 中英平均错误率 1.25%(预览版 1.23%),说话人相似度从 0.682 升到 0.704;CV3 九种语言平均错误率 4.86%
  • 官方把错误率按语言逐一列出,没有只给平均数:泰语、芬兰语、越南语等新语种在 CV3 上错误率偏高
  • 有 ZeroGPU 在线试用 Space;SGLang Omni 适配支持分页注意力、动态批处理和 /v1/audio/speech 接口

用法

  • pip 安装 torch、transformers(4.57 以上、5 以下)、soundfile 后,AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True);克隆音色时传 reference_audio 和完全一致的 reference_text
  • 批量服务按 GitHub 仓库 Edge0-AI/Audio8_TTS 的 sglang_omni 说明,用 audio8_tts_0_6b.yaml 配置并把模型路径换成本仓库

风险

  • 各语言质量差别大,粤语和部分新增语种错误率明显偏高;官方提醒可能有读错、重复、漏字或提前停止,成品前要人工听
  • 官方说明这些指标只衡量可懂度和音色相似度,不直接衡量“真实感”;与其他模型的对比来自不同评测流程,只作参考
  • 需要 trust_remote_code 运行自定义代码;克隆音色须取得许可;本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态