原题:fishaudio/drama-3
Fish Audio 面向多角色场景和长内容的新一代文本转语音模型。文本主干是 MoE(总参数 350 亿、每 token 激活 30 亿,混合全注意力和线性注意力),音频解码器按 10 个码本因果解码;用 <|speaker:0|> 到 <|speaker:15|> 标签,一段文本最多可分 16 个角色。支持声音克隆、在文本中插入 [sighs]、[laughs] 等事件标签,还能把上一版录音的文本作为上下文、只改其中一个词重新生成。官方称在一张 H200 上单路首包音频约 89 毫秒,16 路并发时生成速度仍约为播放速度的 2.7 倍。
为什么重要 适合有声书、广播剧和多人对话配音;改一个词不用整段重录,单路首包音频不到百毫秒
上升分 59 · 点赞 1249 · 下载量 46208
理由
- 一段文本内切换多个说话人,长文本自动分段、可按段流式输出,适合广播剧、有声书和多人对话
- “续写式编辑”:把之前的版本放进 previous_takes,只改需要改的词,可以连续多次修改
- SGLang-Omni 和 vLLM-Omni 首日支持,附技术报告和不同并发下的性能表
用法
- SGLang-Omni:安装 fishaudio 额外依赖后 sgl-omni serve --model-path fishaudio/drama-3;或 vllm serve fishaudio/drama-3 --omni
- 请求里 references 给参考音频和对应文字来克隆音色,文本里直接写 [sighs]、[laughs] 等标签控制表演
风险
- Fish Audio 社区许可:研究和非商业免费;年收入低于 50 万美元可商用;对外提供 TTS / 声音克隆托管服务需另签许可
- 性能数据为官方在 H200 上测得
- 使用他人声音前要取得授权
- 本条未运行,效果以模型卡为准