Edge0/Audio8-TTS-Realistic-0.6b

Edge0 的 0.6B 多语种语音合成模型,是 Audio8-TTS-Preview 的改进版:给一段参考录音和它的逐字稿就能零样本克隆音色,也可以不给参考直接合成;支持中文、粤语、英、日、韩等 23 种语言(比 Preview 多 12 种),输出 44.1 kHz 音频。

Edge0 的 0.6B 多语种语音合成模型,是 Audio8-TTS-Preview 的改进版:给一段参考录音和它的逐字稿就能零样本克隆音色,也可以不给参考直接合成;支持中文、粤语、英、日、韩等 23 种语言(比 Preview 多 12 种),输出 44.1 kHz 音频。

上升分 118 · 点赞 119 · 下载量 813

理由

  • 沿用 Fish Audio S2 Pro 的 DualAR 结构:慢自回归每帧预测一个语义 token,快自回归补出 10 个码本;主模型 601M 参数(不含随仓库附带的 44.1 kHz 编解码器),仓库里检查点、编解码器、分词器和代码齐全。
  • 官方称 Seed-TTS 中英错误率 1.25(Preview 1.23)、说话人相似度 0.704(Preview 0.682);MiniMax 24 语种错误率 5.89,好于 Qwen3-TTS-1.7B 的 27.41,但不如 4B 级的 Higgs Audio v3(2.74)和 Fish S2 Pro(4.40)。官方也写明这些指标只衡量可懂度和音色相似,不直接衡量“逼真”。
  • 有免安装的抱脸 Playground,SGLang Omni 插件提供 OpenAI 兼容的 /v1/audio/speech 接口;Apache-2.0,此前各期没有收录。

用法

  • 命令行:git clone Edge0-AI/Audio8_TTS,pip install -r requirements.txt,python audio8_tts_infer.py --model Edge0/Audio8-TTS-Realistic-0.6b --text "要合成的文字" --output outputs/realistic.wav;克隆音色加 --reference-audio reference.wav --reference-text "参考录音的逐字稿"(必须与录音内容完全一致)。
  • Transformers(4.57 到 5 以下,trust_remote_code=True):processor 传 text、reference_audio、reference_text,generate 用 temperature 0.8、top_p 0.95、top_k 50,再 model.decode_audio 解码成波形。
  • 长段落要拆成短句:参考音频、逐字稿和目标文本共用 2,048 个位置的上下文。

风险

  • 各语言质量差别大:CV3 上泰语错误率 48.574、芬兰语 32.279,MiniMax 集上粤语 31.349;支持列表不代表各语言同等可用。
  • 官方只在 H20 BF16 上做过能否运行的检查,吞吐和流式都没有测;可能出现读错、重复、漏字或提前结束,官方提醒成品前要逐条试听。本栏目没听过示例。
  • 克隆他人声音需取得授权,并按需标注合成音频。

打开

Hugging Face Trending

浏览最新 AI 动态