Audio8-TTS-Realistic-Air:小体量多语种声音克隆 TTS

Edge0 在 Audio8-TTS-Preview-0.6b 上继续训练的语音合成模型:主模型 0.6B(601,159,424 参数,不含另带的 44.1 kHz 编解码器),作者称说话更自然、韵律更有表现力;支持 23 种语言,比 Preview 新增阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语、越南语 12 种,中文、粤语、英、日、韩都在内。给一段参考录音和逐字转写可零样本克隆音色,也能不给参考直接合成。结构是参照 Fish Audio S2 Pro 的 DualAR:慢 AR 每帧预测一个语义 token,快 AR 预测该帧的 10 个码本。10 月 14 日建仓,前几期没有收录。

原题:Edge0/Audio8-TTS-Realistic-Air

Edge0 在 Audio8-TTS-Preview-0.6b 上继续训练的语音合成模型:主模型 0.6B(601,159,424 参数,不含另带的 44.1 kHz 编解码器),作者称说话更自然、韵律更有表现力;支持 23 种语言,比 Preview 新增阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语、越南语 12 种,中文、粤语、英、日、韩都在内。给一段参考录音和逐字转写可零样本克隆音色,也能不给参考直接合成。结构是参照 Fish Audio S2 Pro 的 DualAR:慢 AR 每帧预测一个语义 token,快 AR 预测该帧的 10 个码本。10 月 14 日建仓,前几期没有收录。

上升分 252 · 点赞 318 · 下载量 11349

理由

  • 小模型、多语种:作者称 Seed-TTS 中英平均错误率 1.25%(Preview 1.23%)、说话人相似度 0.704(Preview 0.682);CV3 八种共有语言的错误率从 4.80% 降到 4.56%。作者也写明这些指标衡量的是可懂度和相似度,不直接衡量“真实感”。
  • 部署路径完整:Transformers 直接加载(编解码器已打包,不用另找),另有 SGLang Omni 插件提供分页注意力、动态批处理和 OpenAI 兼容的 /v1/audio/speech 接口;GitHub 仓库还有命令行、批处理和监督微调脚本。
  • Apache-2.0,有 ZeroGPU 在线试用 Space;抱脸点赞 318(只代表关注度)。

用法

  • pip install "torch>=2.5.0" "torchaudio>=2.5.0" "transformers>=4.57.0,<5" soundfile safetensors;AutoProcessor / AutoModel.from_pretrained('Edge0/Audio8-TTS-Realistic-Air', trust_remote_code=True),克隆时给 reference_audio 和与录音逐字一致的 reference_text,generate(max_new_tokens=1024, temperature=0.8, top_p=0.95, top_k=50, do_sample=True, return_dict_in_generate=True) 后用 model.decode_audio(output.codes) 写成 wav。
  • 不要参考音色时 processor 只传 text;参考录音要干净,长文本拆成几段再合成(参考音频、转写和目标文本共用上下文)。服务化用 GitHub Edge0-AI/Audio8_TTS 的 sglang_omni 配置 audio8_tts_0_6b.yaml,模型路径填本仓库。

风险

  • 语种之间差别大:作者 CV3 表里中文 CER 1.814%、英文 WER 2.907%,泰语却是 48.574%、芬兰语 32.279%、越南语 28.111%;中文难例 CER 比 Preview 还略高(11.510% → 12.797%)。
  • SGLang 服务只验证了在 H20 上能跑(非流式、关闭 torch.compile 和 CUDA Graph),没有测吞吐和流式。作者提醒可能有读错、重复、漏字或提前停止,成品前要逐条试听。
  • 克隆别人的声音要先取得许可,合成音频要按场合标明;卡里没有提到水印。

打开

Hugging Face Trending

浏览最新 AI 动态