原题:inworld/voice-isolator
Inworld が 11 月 14 日に公開した音声分離モデル v1 は、2 つのチェックポイントが同一のアーキテクチャを共有しています。録音用に設計されたオフライン版 voice-isolator-v1(64M パラメータ、各フレームで全 8 秒を参照可能)と、ライブ配信や通話用に設計されたリアルタイム版 voice-isolator-v1-realtime(58M パラメータ、因果的ストリーミング、20 ms の先読みでアルゴリズム遅延 63 ms)があります。入力は 48 kHz のモノラルで、出力は音声と除去された背景音の 2 系統に分かれ、この 2 系統を足し合わせると元の入力になります。v1 はノイズ除去のみを行い、録音時に欠落した周波数帯域の補完は行いません(補完機能は v2 で実装予定)。コードと重みはすべて Apache-2.0 ライセンスです。
なぜ重要か Apache ライセンスにより商用利用が可能で、リアルタイム版は通話やライブ配信に使えるほど低遅延。録音のクリーンアップや音声データの整理に活用でき、背景の残差成分は伴奏分離にも利用可能
上昇スコア 56 · いいね 60 · ダウンロード数 0
理由
- アーキテクチャは STFT 上の周波数帯域別 2 系統ネットワーク:各フレームを 46 個の周波数帯域に分割し、4 個の注意力ブロックと 3 個の Mamba ブロックを使用、出力は有界な複素マスクと残差
- 公式によると、約 10,000 時間の音声で訓練されており、多言語の朗読や会話、キャラクターボイス、ささやき声、歌唱を含み、話者自身の笑い声、呼吸、ため息も保持
- 2 人が同時に話す場合、より大きい音量の声を保持し、音量が近い場合は通常両方を保持。特定の話者を選択する機能はない
使い方
- pip install inworld-voice-isolation を実行後、voice-isolate in.wav out.wav を実行(初回使用時にオフラインモデルが自動ダウンロードされハッシュ検証が行われる)。除去された背景音は out_background.wav として保存。--no-background オプションで音声のみ保存、--output-sr 0 で元のサンプリングレートを維持
- ストリーミング:VoiceIsolator("inworld/voice-isolator", mode="streaming", lookahead_frames=2) を初期化後、stream() を呼び出し、20 ms ごとに 960 サンプルを送信。終了時に flush() を実行。コマンドラインでは --mode streaming --lookahead 2 を追加
- CUDA があれば CUDA を使用、Apple Silicon Mac では mps(PyTorch 2.6 以上)を使用、それ以外は CPU を使用。GitHub の inworld-ai/voice-isolator にインタラクティブデモとベンチマークの説明があり、AGENTS.md はコーディングエージェントに渡してセットアップを自動化できる
リスク
- 公式は A100、H100、B200、B300 および CPU でのみテスト済みで、小規模な GPU では未テスト
- カード内の VIBE ベンチマークスコアグラフは Inworld 独自の内部評価セットに基づくもので、評価セットは非公開
- ノイズ除去のみで補完は行わない:録音自体で失われた周波数帯域は復元されない。本項目は未実行