SAVA:Inworld 的语音活动和说完检测模型

Inworld 11 月 14 日上传(和昨天收的 Voice Isolator 同一家)。SAVA 读 16 kHz 单声道实时音频,每 40 ms 输出两个概率:这一帧是不是语音(带 120 ms 前瞻,晚 120 ms 给出),以及说话人这一轮是否已经说完(无前瞻)。共享网络同时用声学和语句上下文,用来区分说话和咳嗽、笑声、音乐、键盘声。25.5M 参数,结构是因果 log-mel 特征、3 个 Mamba-2 块加 1 个注意力块的主干,再接语音和说完两个输出头。官方称训练用了约 5,000 小时真实和合成对话语音,混入非语言人声、噪声、音乐和房间混响。代码和权重 Apache-2.0。

原题:inworld/sava

Inworld 11 月 14 日上传(和昨天收的 Voice Isolator 同一家)。SAVA 读 16 kHz 单声道实时音频,每 40 ms 输出两个概率:这一帧是不是语音(带 120 ms 前瞻,晚 120 ms 给出),以及说话人这一轮是否已经说完(无前瞻)。共享网络同时用声学和语句上下文,用来区分说话和咳嗽、笑声、音乐、键盘声。25.5M 参数,结构是因果 log-mel 特征、3 个 Mamba-2 块加 1 个注意力块的主干,再接语音和说完两个输出头。官方称训练用了约 5,000 小时真实和合成对话语音,混入非语言人声、噪声、音乐和房间混响。代码和权重 Apache-2.0。

为什么重要 一个小模型同时做两件事,CPU 就能跑、Apache 许可;能把人声和咳嗽、笑声、音乐、敲键盘区分开

上升分 38 · 点赞 57 · 下载量 0

理由

  • 官方在 Apple M3 Max 的 CPU 上测:单路音频每 40 ms 一帧耗时 3.8 ms;也在 NVIDIA Ampere、Hopper、Blackwell 上测过
  • 语音活动对比 Silero VAD、说完检测对比 pipecat smart-turn v3.2,按数据集分别给 AUC,不做综合排名;官方提醒 SAVA 有 120 ms 前瞻,延迟上不对等
  • 仓库附参考的轮次策略,把两条概率曲线切成一段段发言;应用也可以换成自己的策略

用法

  • pip install inworld-sava(Python 3.10 以上),sava run recording.wav;加 --turns_dir turns/ 输出切好的发言段、--curves curves.json 保存概率曲线;麦克风输入装 inworld-sava[mic] 后运行 sava mic
  • Python:sava.load("inworld/sava") 加载(首次自动下载并校验哈希),sava.run 得到曲线、sava.segment 按 sava.Policy() 切段;流式用 sava.Session(model),每收到一段 16 kHz 音频 push(),结束时 flush()
  • 默认用 CPU,--device 指定其他设备;GitHub inworld-ai/sava 有集成指南、完整基准表,AGENTS.md 可交给编程代理照着装

风险

  • 对任何人声都响应,不挑指定说话人;插话和“嗯嗯”这类附和怎么处理,要应用自己的对话策略决定
  • 官方说安静的、像人声的噪声可能误触发(ESC-50 测的就是这种失败);基准是官方自测
  • 训练配方、代码和数据没有公开。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态