原题:Zyphra/ZONOS3-Mini
Zyphra 的开源文本转语音模型,总参数 8 亿,MoE 结构每 token 激活约 1 亿,支持 43 种语言(含普通话、日语、韩语)。可以用一段参考音频(最长 60 秒)克隆声音,也可以用一个说话人向量调出角色音色,并按响度、带宽、语速分档控制;官方称还能把情绪、节奏控制到单个词。输出 44.1 kHz 音频,单次最长生成 10 分钟;官方称在一张 H100 上 8 路并发时首包音频中位延迟 80 毫秒,峰值吞吐为每秒生成 457 秒音频。
为什么重要 能在浏览器里用本机显卡克隆声音,还能按词控制情绪和语速,权重用 Apache 许可可商用
上升分 83 · 点赞 84 · 下载量 856
理由
- 体量小,官方称能在手机、笔记本和浏览器里实时运行;浏览器版走 WebGPU,不用安装、不用服务器
- 运行方式多:SGLang-Omni 提供兼容 OpenAI 的 /v1/audio/speech 接口和流式输出,官方另有 CUDA、MLX(Apple 芯片)、C++/ggml 和 WebGPU 运行时,附 27 个默认音色
- 权重 Apache-2.0,可商用
用法
- 在浏览器打开官方 Zonos Voice Studio 或 Lite 页面直接试(需支持 WebGPU 的浏览器,首次访问会下载模型)
- 服务端:装好 SGLang-Omni 后 sgl-omni serve --model-path Zyphra/ZONOS3-Mini;请求里加 references 指定参考音频即可克隆,加 "stream": true 流式输出
风险
- 质量与速度对比为官方在自家 ZTTS2-Eval 上测得,完整评测在官方博客
- 声音克隆可能被滥用,使用他人声音前要取得授权
- 本条未运行,效果以模型卡为准