複数人の会話、ノイズ、残響が混在する音声と、ターゲット話者の口元映像を入力すると、モデルはその人物の音声のみを出力し、因果的でありながらリアルタイムで出力可能です。セパレータは1回のエンコード・デコードでマルチスケールの時周波数分離を完了し、従来の軽量手法のように小さなセパレータを繰り返し呼び出すことはありません。学習時には「エンコーダ空間話者対比損失」を追加し、近距離の他話者のクロストークを抑制しますが、推論時には追加のオーバーヘッドはゼロです。著者は同時にRealSSAベンチマークも公開しており、シミュレーションシーンでは近距離に1〜5人、遠距離に10〜15人の妨害話者を含み、さらに実録音テストセットも用意されています。
いいね 149 · コードスター数 20
理由
- 完全な公開：学習／評価コード、FalconとFalcon-Bigの2つの重み（Hugging FaceのJusperLee/Falcon、JusperLee/Falcon-Big）、Hugging FaceのZeroGPUオンラインデモ、およびローカルリアルタイムデモのFalcon Studioが含まれており、コードと重みはすべてApache-2.0ライセンスです。
- 著者によると、因果的なAV-TFGridNetと比較して、パラメータ数が91.9%、計算量が20.2倍、GPU遅延が11.1倍削減されています。論文ベースの学習可能パラメータ数は0.5M（凍結された唇読み取りエンコーダを含めると合計11.72M）です。
- 著者によると、RealSSA-Sim、LRS2-2Mix、LRS3-2Mix、VoxCeleb2-2Mixにおいて、因果的手法の中で最高の性能を達成しており、READMEには9つのベースラインとの完全な比較表が記載されています。
- 即座に実装可能：Falcon Studioはブラウザ内でMediaPipeを使用して口元を追跡し、分離された音声をヘッドフォンに送信するか、仮想サウンドカード経由でZoom／Tencent Meetingに送信します。READMEによると、2秒ウィンドウごとに、0.5秒ごとに新しい音声セグメントが出力され、Apple M5 ProのMetal環境では1ウィンドウあたり約0.12秒かかります。
使い方
- 最速の体験：READMEのリンクからHugging Face Space（JusperLee/Falcon-Studio）を開き、ブラウザで最大60秒のクリップを録音して分離します。
- ローカルリアルタイム：git clone github.com/JusperLee/Falcon、pip install -r studio/requirements.txt（Python 3.10〜3.12、Apple Metal / NVIDIA CUDA / CPUに対応）、macOSではstudio/Start Falcon.commandをダブルクリックするか、studio/scripts/launch.shを実行します。Linux + NVIDIAの場合は--device cudaを追加します。重みは初回実行時にHugging Faceから自動的にダウンロードされます。
- オフライン単一セグメント：ffmpegで16 kHzモノラルのmix.wavに変換し、python infer_file.py --audio mix.wav --mouth mouth.npy --out target.wav --model JusperLee/Falconを実行します。mouth.npyは、ターゲット話者の25fps、96×96のグレースケール口元クロップです。PythonインターフェースFalconRuntime.from_pretrainedも利用可能です。
- 学習：データはLRS2/LRS3のディレクトリ構造に従って整理し、DataPreProcess内のスクリプトでインデックスを作成後、python audio_train.py --conf_dir configs/Falcon.ymlを実行します。
リスク
- ターゲット話者の正面顔／口元映像が必須であり、音声のみのシーンでは使用できません。オフライン推論では、口元クロップのシーケンスを自分で準備する必要があります。
- 会議への接続用仮想サウンドカードソリューション（BlackHole）はmacOS向けであり、他のOSでは独自にルーティング方法を見つける必要があります。READMEにはCPUでのリアルタイム実行に関する完全な説明はありません。
- RealSSAの2つのデータセットはどちらも手動承認が必要で、RealSSA-SimはCC BY-NC-ND 4.0です。公開されているマルチチャンネル分割データは、リポジトリのモノラル学習ローダで使用するために改造が必要です。学習に必要な唇読み取り視覚バックボーンの重みへのリンクはREADMEに記載されていません。
- すべての品質および効率の数値は著者による報告です。デモ音声を聴いていないため、実際の聴感については評価していません。
編集：通常のノイズ除去とは異なります。このモデルが抽出するのは「映像内のこの人物」の音声であり、隣で話している他の人の声も除去されます。会議、インタビュー、補聴器関連のシーンに適しています。
開く · コード · Hugging Face論文ページ