原題:inworld/sava
Inworld が 11 月 14 日にアップロード(昨日紹介した Voice Isolator と同じ企業)。SAVA は 16 kHz のモノラルリアルタイム音声を読み取り、40 ms ごとに 2 つの確率を出力します。1 つは当該フレームが音声であるかどうか(120 ms の先読みを含み、120 ms 遅れて出力)、もう 1 つは話者がそのターンで発話を終了したかどうか(先読みなし)です。共有ネットワークは音響特徴と文脈の両方を使用し、話し声と咳、笑い声、音楽、キーボード音を区別します。パラメータ数は 25.5M で、構造は因果的 log-mel 特徴、3 個の Mamba-2 ブロックと 1 個の注意力ブロックからなるバックボーン、そして音声検出と発話終了検出の 2 つの出力ヘッドで構成されています。公式によれば、訓練には約 5,000 時間分の実音声および合成対話音声を使用し、非言語的な人声、ノイズ、音楽、部屋のリバーブを混ぜ込んでいます。コードと重みは Apache-2.0 ライセンスです。
なぜ重要か 小さなモデルが 2 つのタスクを同時に処理し、CPU で動作可能で Apache ライセンスです。人声と咳、笑い声、音楽、キーボード入力を区別できます。
上昇スコア 38 · いいね 57 · ダウンロード数 0
理由
- 公式は Apple M3 Max の CPU でテストしました。単一音声ストリームで 40 ms ごとに 1 フレーム処理するのにかかる時間は 3.8 ms です。NVIDIA Ampere、Hopper、Blackwell でもテスト済みです。
- 音声活動検出は Silero VAD と、発話終了検出は pipecat smart-turn v3.2 と比較しました。データセットごとに AUC を提示し、総合ランキングは行っていません。公式は SAVA に 120 ms の先読みがあるため、遅延面では公平な比較ではないと注意を促しています。
- リポジトリには参考となるターン検出ポリシーが含まれており、2 つの確率曲線を個々の発話セグメントに分割します。アプリケーション側で独自ポリシーに置き換えることも可能です。
使い方
- pip install inworld-sava(Python 3.10 以上)、sava run recording.wav。--turns_dir turns/ を追加すると分割された発話セグメントを出力し、--curves curves.json で確率曲線を保存します。マイク入力を使用する場合は inworld-sava[mic] をインストール後、sava mic を実行します。
- Python:sava.load("inworld/sava") でモデルを読み込み(初回は自動ダウンロードとハッシュ検証が行われます)、sava.run で曲線を取得し、sava.segment で sava.Policy() に基づいてセグメント分割を行います。ストリーミング処理では sava.Session(model) を使用し、16 kHz の音声チャンクを受け取るたびに push() を呼び出し、終了時に flush() を実行します。
- デフォルトでは CPU を使用し、--device で他のデバイスを指定できます。GitHub の inworld-ai/sava には統合ガイドと完全なベンチマーク表があり、AGENTS.md はコーディングエージェントにインストール手順として渡すことができます。
リスク
- 任意の人声に反応し、特定の話者を選択することはできません。割り込みや「うん」「はい」などの相槌をどう扱うかは、アプリケーション側の対話ポリシーで決定する必要があります。
- 公式によれば、静かで人声に似たノイズは誤検出を引き起こす可能性があります(ESC-50 でテストされたのはこの種の失敗です)。ベンチマークは公式による自己評価です。
- 訓練レシピ、コード、データは公開されていません。本項目では実行検証を行っていません。