ZONOS3-Mini:手机和浏览器里实时跑的多语种语音克隆

Zyphra 的开源文本转语音模型,总参数 8 亿,MoE 结构每 token 激活约 1 亿,支持 43 种语言(含普通话、日语、韩语)。可以用一段参考音频(最长 60 秒)克隆声音,也可以用一个说话人向量调出角色音色,并按响度、带宽、语速分档控制;官方称还能把情绪、节奏控制到单个词。输出 44.1 kHz 音频,单次最长生成 10 分钟;官方称在一张 H100 上 8 路并发时首包音频中位延迟 80 毫秒,峰值吞吐为每秒生成 457 秒音频。

原题:Zyphra/ZONOS3-Mini

Zyphra 的开源文本转语音模型,总参数 8 亿,MoE 结构每 token 激活约 1 亿,支持 43 种语言(含普通话、日语、韩语)。可以用一段参考音频(最长 60 秒)克隆声音,也可以用一个说话人向量调出角色音色,并按响度、带宽、语速分档控制;官方称还能把情绪、节奏控制到单个词。输出 44.1 kHz 音频,单次最长生成 10 分钟;官方称在一张 H100 上 8 路并发时首包音频中位延迟 80 毫秒,峰值吞吐为每秒生成 457 秒音频。

为什么重要 能在浏览器里用本机显卡克隆声音,还能按词控制情绪和语速,权重用 Apache 许可可商用

上升分 83 · 点赞 84 · 下载量 856

理由

  • 体量小,官方称能在手机、笔记本和浏览器里实时运行;浏览器版走 WebGPU,不用安装、不用服务器
  • 运行方式多:SGLang-Omni 提供兼容 OpenAI 的 /v1/audio/speech 接口和流式输出,官方另有 CUDA、MLX(Apple 芯片)、C++/ggml 和 WebGPU 运行时,附 27 个默认音色
  • 权重 Apache-2.0,可商用

用法

  • 在浏览器打开官方 Zonos Voice Studio 或 Lite 页面直接试(需支持 WebGPU 的浏览器,首次访问会下载模型)
  • 服务端:装好 SGLang-Omni 后 sgl-omni serve --model-path Zyphra/ZONOS3-Mini;请求里加 references 指定参考音频即可克隆,加 "stream": true 流式输出

风险

  • 质量与速度对比为官方在自家 ZTTS2-Eval 上测得,完整评测在官方博客
  • 声音克隆可能被滥用,使用他人声音前要取得授权
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态