Voice Isolator: Inworld의 오픈소스 음성 분리 모델

Inworld가 11월 14일에 업로드한 음성 분리 모델 v1입니다. 두 체크포인트는 동일한 구조를 공유합니다. 녹음용으로 사용되는 오프라인 버전 voice-isolator-v1(64M 파라미터, 각 프레임이 전체 8초를 참조 가능)와 라이브 스트리밍 및 통화용으로 사용되는 실시간 버전 voice-isolator-v1-realtime(58M 파라미터, 인과적 스트리밍, 20ms 선행 시 알고리즘 지연 시간 63ms)로 구성됩니다. 입력은 48kHz 모노 채널이며, 출력은 음성 트랙과 제거된 배경음 트랙 두 경로로 나뉘며, 두 경로를 합치면 원래 입력값이 됩니다. v1는 노이즈 제거만 수행하며 녹음 시 누락된 주파수 대역을 복원하지 않습니다(복원 기능은 v2에 포함될 예정입니다). 코드와 가중치는 모두 Apache-2.0 라이선스를 따릅니다.

원제: inworld/voice-isolator

Inworld가 11월 14일에 업로드한 음성 분리 모델 v1입니다. 두 체크포인트는 동일한 구조를 공유합니다. 녹음용으로 사용되는 오프라인 버전 voice-isolator-v1(64M 파라미터, 각 프레임이 전체 8초를 참조 가능)와 라이브 스트리밍 및 통화용으로 사용되는 실시간 버전 voice-isolator-v1-realtime(58M 파라미터, 인과적 스트리밍, 20ms 선행 시 알고리즘 지연 시간 63ms)로 구성됩니다. 입력은 48kHz 모노 채널이며, 출력은 음성 트랙과 제거된 배경음 트랙 두 경로로 나뉘며, 두 경로를 합치면 원래 입력값이 됩니다. v1는 노이즈 제거만 수행하며 녹음 시 누락된 주파수 대역을 복원하지 않습니다(복원 기능은 v2에 포함될 예정입니다). 코드와 가중치는 모두 Apache-2.0 라이선스를 따릅니다.

왜 중요한가 Apache 라이선스로 상업적 사용이 가능하며, 실시간 버전은 통화 및 라이브 스트리밍에 활용 가능한 낮은 지연 시간을 제공합니다. 녹음 정리 및 음성 데이터 정리에 사용할 수 있으며, 배경 잔차(Residual)는 반주 분리 용도로도 활용할 수 있습니다

상승 점수 56 · 좋아요 60 · 다운로드 수 0

이유

  • 구조는 STFT 기반의 주파수 대역 분할 이중 경로 네트워크입니다. 각 프레임을 46개의 주파수 대역으로 분할하며, 4개의 어텐션 블록과 3개의 Mamba 블록을 사용합니다. 출력은 유계 복소수 마스크와 잔차입니다
  • 공식적으로 약 10,000시간의 오디오로 학습되었으며, 다국어 낭독 및 대화, 캐릭터 더빙, 속삭임, 노래를 포함하고 화자 자신의 웃음, 호흡, 한숨을 보존합니다
  • 두 사람이 동시에 말할 경우 더 큰 소리의 화자를 우선적으로 보존하며, 음량이 비슷할 경우 일반적으로 모두 보존합니다. 특정 화자를 지정하여 선택하는 기능은 없습니다

사용법

  • pip install inworld-voice-isolation을 실행한 후 voice-isolate in.wav out.wav를 실행합니다(첫 사용 시 오프라인 모델이 자동 다운로드되고 해시가 검증됨). 제거된 배경음은 out_background.wav로 별도 저장됩니다. --no-background 옵션을 사용하면 음성만 저장되며, --output-sr 0을 지정하면 원본 샘플링 레이트를 유지합니다
  • 스트리밍 모드: VoiceIsolator("inworld/voice-isolator", mode="streaming", lookahead_frames=2)를 초기화한 후 stream()을 호출합니다. 매 20ms마다 960개의 샘플을 전송하며, 종료 시 flush()를 호출합니다. 명령줄에서는 --mode streaming --lookahead 2를 추가합니다
  • CUDA 환경에서는 CUDA를, Apple Silicon Mac에서는 mps(PyTorch 2.6 이상)를 사용하며, 그 외에는 CPU를 사용합니다. GitHub 저장소 inworld-ai/voice-isolator에는 인터랙티브 데모와 벤치마크 설명이 있으며, AGENTS.md 파일을 프로그래밍 에이전트에 전달하여 설치 절차를 따를 수 있습니다

리스크

  • 공식적으로 A100, H100, B200, B300 및 CPU 환경에서만 테스트되었으며, 저사양 GPU는 아직 테스트되지 않았습니다
  • 카드에 포함된 VIBE 벤치마크 점수 그래프는 Inworld의 내부 평가셋에서 나온 것이며, 해당 평가셋은 공개되지 않았습니다
  • 노이즈 제거만 수행하고 복원은 하지 않습니다. 녹음 과정에서 이미 손실된 주파수 대역은 복원되지 않습니다. 본 항목은 실행되지 않았습니다

열기

Hugging Face Trending

최신 AI 소식 보기