여러 사람의 목소리, 소음 및 잔향이 섞인 오디오와 목표 화자의 입술 영상을 입력하면, 모델은 해당 인물의 목소리만 인과적(causal) 방식으로 실시간으로 출력합니다. 분리기는 한 번의 인코딩-디코딩 과정으로 다중 스케일 시-주파수 분리를 수행하며, 기존 경량화 방식처럼 소형 분리기를 반복 호출하지 않습니다. 학습 시 '인코더 공간 화자 대비 손실(encoder-space speaker contrastive loss)'을 추가하여 근거리 다른 화자의 크로스토크를 억제하며, 추론 시 추가 비용은 없습니다. 저자들은 RealSSA 벤치마크도 함께 공개했습니다. 시뮬레이션 환경에는 근거리 방해 화자 1–5명, 원거리 방해 화자 10–15명이 포함되며, 실제 녹음 테스트셋도 별도로 제공됩니다.
좋아요 149 · 코드 스타 수 20
이유
- 완전한 공개: 학습/평가 코드, Falcon 및 Falcon-Big 두 가지 가중치(Hugging Face JusperLee/Falcon, JusperLee/Falcon-Big), Hugging Face ZeroGPU 온라인 데모, 그리고 로컬 실시간 데모인 Falcon Studio가 모두 공개되어 있으며, 코드와 가중치 모두 Apache-2.0 라이선스를 따릅니다.
- 저자 주장에 따르면, 인과적 AV-TFGridNet과 비교하여 파라미터는 91.9% 감소, 연산량은 20.2배 감소, GPU 지연은 11.1배 감소했습니다. 논문 기준 학습 가능한 파라미터는 0.5M이며(동결된 입술 읽기 인코더 포함 총 11.72M)입니다.
- 저자 주장에 따르면, RealSSA-Sim, LRS2-2Mix, LRS3-2Mix, VoxCeleb2-2Mix 데이터셋에서 인과적 방법 중 최상의 성능을 달성했으며, README에는 9개의 베이스라인과의 전체 비교표가 포함되어 있습니다.
- 즉시 활용 가능: Falcon Studio는 브라우저에서 MediaPipe를 사용하여 입술을 추적하고, 분리된 오디오를 헤드폰으로 전송하거나 가상 사운드 카드를 통해 Zoom / Tencent Meeting으로 전달합니다. README에 따르면, 2초 윈도우당 0.5초마다 새로운 오디오 세그먼트가 생성되며, Apple M5 Pro의 Metal 환경에서 윈도우당 약 0.12초가 소요됩니다.
사용법
- 가장 빠른 체험: README 링크의 Hugging Face Space(JusperLee/Falcon-Studio)를 열고, 브라우저에서 최대 60초 길이의 클립을 녹음한 후 분리합니다.
- 로컬 실시간 실행: git clone github.com/JusperLee/Falcon, pip install -r studio/requirements.txt(Python 3.10–3.12, Apple Metal / NVIDIA CUDA / CPU 지원), macOS에서는 studio/Start Falcon.command를 더블 클릭하거나 studio/scripts/launch.sh를 실행합니다. Linux + NVIDIA 환경에서는 --device cuda 옵션을 추가합니다. 가중치는 첫 실행 시 Hugging Face에서 자동으로 다운로드됩니다.
- 오프라인 단일 파일 처리: ffmpeg를 사용하여 16 kHz 모노 mix.wav로 변환한 후, python infer_file.py --audio mix.wav --mouth mouth.npy --out target.wav --model JusperLee/Falcon을 실행합니다. mouth.npy는 목표 인물의 25fps, 96×96 크기의 그레이스케일 입술 크롭입니다. Python 인터페이스 FalconRuntime.from_pretrained를 사용할 수도 있습니다.
- 학습: 데이터는 LRS2/LRS3 디렉토리 구조로 구성하며, DataPreProcess의 스크립트를 사용하여 인덱스를 생성한 후, python audio_train.py --conf_dir configs/Falcon.yml을 실행합니다.
리스크
- 목표 화자의 정면/입술 영상이 필수이며, 순수 오디오 환경에서는 사용할 수 없습니다. 오프라인 추론 시에는 입술 크롭 시퀀스를 직접 준비해야 합니다.
- 회의용 가상 사운드 카드 연결 방식(BlackHole)은 macOS 전용이며, 다른 운영체제에서는 자체적으로 라우팅 방법을 찾아야 합니다. README에는 CPU 실시간 실행에 대한 완전한 설명이 제공되지 않았습니다.
- RealSSA의 두 데이터셋 모두 수동 승인이 필요하며, RealSSA-Sim은 CC BY-NC-ND 4.0 라이선스를 따릅니다. 공개된 멀티채널 분할 데이터는 저장소의 모노 채널 학습 로더와 호환되도록 수정해야 사용 가능하며, 학습에 필요한 입술 읽기 비주얼 백본 가중치 링크는 README에 아직 제공되지 않았습니다.
- 모든 품질 및 효율성 수치는 저자가 보고한 값입니다. 데모 오디오를 직접 들어보지 않았으므로 실제 청감 품질에 대한 평가는 하지 않습니다.
편집: 일반적인 노이즈 제거와 다릅니다. 이 모델은 '화면에 있는 이 사람'의 목소리를 추출하며, 옆에서 말하는 다른 사람의 목소리도 제거합니다. 회의, 인터뷰, 보청기 관련 시나리오에 적합합니다.
열기 · 코드 · Hugging Face 논문 페이지