SAVA: Inworld의 음성 활동 및 발화 종료 감지 모델

Inworld가 11월 14일에 업로드했습니다(어제 소개한 Voice Isolator와 같은 회사입니다). SAVA는 16kHz 모노 채널 실시간 오디오를 읽으며, 매 40ms마다 두 가지 확률을 출력합니다. 첫 번째는 해당 프레임이 음성인지 여부(120ms의 선행 정보를 포함하며, 120ms 늦게 제공됨)이고, 두 번째는 화자가 현재 발화를 마쳤는지 여부(선행 정보 없음)입니다. 공유 네트워크는 음향 및 문장 컨텍스트를 동시에 사용하여 말하기와 기침, 웃음, 음악, 키보드 소리를 구분합니다. 파라미터 수는 25.5M이며, 구조는 인과적 log-mel 특징 추출기, 3개의 Mamba-2 블록과 1개의 어텐션 블록으로 구성된 백본(backbone), 그리고 음성 및 발화 종료 두 개의 출력 헤드로 이루어져 있습니다. 공식적으로 훈련에는 약 5,000시간의 실제 및 합성 대화 음성 데이터가 사용되었으며, 비언어적 인간 소리, 잡음, 음악 및 방 반향이 혼합되었습니다. 코드와 가중치는 Apache-2.0 라이선스를 따릅니다.

원제: inworld/sava

Inworld가 11월 14일에 업로드했습니다(어제 소개한 Voice Isolator와 같은 회사입니다). SAVA는 16kHz 모노 채널 실시간 오디오를 읽으며, 매 40ms마다 두 가지 확률을 출력합니다. 첫 번째는 해당 프레임이 음성인지 여부(120ms의 선행 정보를 포함하며, 120ms 늦게 제공됨)이고, 두 번째는 화자가 현재 발화를 마쳤는지 여부(선행 정보 없음)입니다. 공유 네트워크는 음향 및 문장 컨텍스트를 동시에 사용하여 말하기와 기침, 웃음, 음악, 키보드 소리를 구분합니다. 파라미터 수는 25.5M이며, 구조는 인과적 log-mel 특징 추출기, 3개의 Mamba-2 블록과 1개의 어텐션 블록으로 구성된 백본(backbone), 그리고 음성 및 발화 종료 두 개의 출력 헤드로 이루어져 있습니다. 공식적으로 훈련에는 약 5,000시간의 실제 및 합성 대화 음성 데이터가 사용되었으며, 비언어적 인간 소리, 잡음, 음악 및 방 반향이 혼합되었습니다. 코드와 가중치는 Apache-2.0 라이선스를 따릅니다.

왜 중요한가 작은 모델이 두 가지 작업을 동시에 수행하며, CPU에서도 실행 가능하고 Apache 라이선스를 적용합니다. 인간의 목소리와 기침, 웃음, 음악, 키보드 소리를 구분할 수 있습니다.

상승 점수 38 · 좋아요 57 · 다운로드 수 0

이유

  • 공식적으로 Apple M3 Max의 CPU에서 테스트한 결과, 단일 오디오 스트림 기준 프레임당(40ms) 처리 시간은 3.8ms입니다. NVIDIA Ampere, Hopper, Blackwell에서도 테스트되었습니다.
  • 음성 활동 감지는 Silero VAD와 비교하고, 발화 종료 감지는 pipecat smart-turn v3.2와 비교하며, 데이터셋별로 AUC를 제공합니다(종합 순위는 제공하지 않음). 공식적으로 SAVA에는 120ms의 선행 정보가 있어 지연 시간 측면에서 공정한 비교가 아님을 언급합니다.
  • 저장소에는 두 확률 곡선을 발화 세그먼트로 분할하는 참고용 턴 테이킹(turn-taking) 전략이 포함되어 있으며, 애플리케이션은 자체 전략으로 교체할 수 있습니다.

사용법

  • pip install inworld-sava(Python 3.10 이상), sava run recording.wav; --turns_dir turns/ 옵션을 추가하면 분할된 발화 세그먼트를 출력하고, --curves curves.json 옵션으로 확률 곡선을 저장합니다. 마이크 입력을 사용하려면 inworld-sava[mic] 설치 후 sava mic를 실행하세요.
  • Python: sava.load("inworld/sava")로 로드(첫 번째 실행 시 자동 다운로드 및 해시 검증), sava.run으로 곡선 획득, sava.segment로 sava.Policy()에 따라 세그먼트 분할; 스트리밍은 sava.Session(model)을 사용하며, 16kHz 오디오 블록이 수신될 때마다 push()를 호출하고 종료 시 flush()를 호출합니다.
  • 기본적으로 CPU를 사용하며, --device 옵션으로 다른 장치를 지정할 수 있습니다. GitHub의 inworld-ai/sava 저장소에는 통합 가이드와 전체 벤치마크 표가 있으며, AGENTS.md는 프로그래밍 에이전트가 설치 절차를 따르도록 할 수 있습니다.

리스크

  • 특정 화자를 구분하지 않고 모든 인간 목소리에 반응합니다. 끼어들기(interjection)나 '음', '네' 같은 추임새 처리는 애플리케이션의 대화 전략에 따라 결정해야 합니다.
  • 공식적으로 조용하고 인간 목소리와 유사한 잡음이 오탐지될 수 있다고 언급합니다(ESC-50 테스트가 이러한 실패 사례를 다룹니다). 벤치마크는 자체 측정 결과입니다.
  • 훈련 레시피, 코드 및 데이터가 공개되지 않았습니다. 본 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기