原题:inworld/voice-isolator
Inworld 11 月 14 日上传的人声分离模型 v1,两个检查点共用一套结构:离线版 voice-isolator-v1(64M 参数,每帧能看到整段 8 秒)用于录音,实时版 voice-isolator-v1-realtime(58M 参数,因果流式,前瞻 20 ms 时算法延迟 63 ms)用于直播和通话。输入 48 kHz 单声道,输出人声和被去掉的背景两路,两路相加就是原输入。v1 只做降噪,不补回录音缺失的频段(修复功能计划放在 v2)。代码和权重都是 Apache-2.0。
为什么重要 Apache 许可可商用,实时版延迟低到能用于通话直播;可清理录音、整理语音数据,背景残差还能当伴奏分离用
上升分 56 · 点赞 60 · 下载量 0
理由
- 结构是 STFT 上的分频带双路网络:每帧切成 46 个频带,4 个注意力块加 3 个 Mamba 块,输出有界复数掩码和残差
- 官方称训练用了约 10,000 小时音频,覆盖多语种朗读和对话、角色配音、耳语、唱歌,并保留说话人自己的笑声、呼吸和叹气
- 两人同时说话时保留较响的那个,响度接近时通常都保留;它不按指定说话人挑选
用法
- pip install inworld-voice-isolation,再 voice-isolate in.wav out.wav(首次使用自动下载离线模型并校验哈希),去掉的背景另存为 out_background.wav;--no-background 只存人声,--output-sr 0 保持原采样率
- 流式:VoiceIsolator("inworld/voice-isolator", mode="streaming", lookahead_frames=2) 后调用 stream(),每 20 ms 推 960 个采样,结束时 flush();命令行加 --mode streaming --lookahead 2
- 有 CUDA 用 CUDA,Apple 芯片 Mac 用 mps(PyTorch 2.6 以上),否则用 CPU;GitHub inworld-ai/voice-isolator 有交互演示和基准说明,AGENTS.md 可交给编程代理照着装
风险
- 官方只在 A100、H100、B200、B300 和 CPU 上测过,小显卡还没测
- 卡里的 VIBE 基准分数图来自 Inworld 自己的内部评测集,评测集不公开
- 只降噪不修复:录音本身丢失的频段不会补回。本条未运行