원제: higurashi-ai/Haru-4B
Higurashi AI가 공개한 저지연, 다국어 전이중 연속 음성 대화 기반 모델로, 연구 목적으로 제공됩니다. 133밀리초를 한 프레임으로 처리합니다. 모델은 사용자의 오디오 한 프레임을 입력받는 동시에 자신의 오디오 한 프레임과 텍스트를 출력하며, 이 세 가지를 합쳐 언어 모델의 동일한 위치에 입력하므로 듣기와 말하기가 서로를 기다리지 않습니다. 오디오는 프레임당 64차원의 연속 벡터이며, 작은 MLP 헤드가 MeanFlow를 통해 한 단계 샘플링으로 생성합니다. 별도의 오디오 트랜스포머나 이산 오디오 토큰은 사용하지 않습니다. 언어 모델의 백본은 Qwen3.5-4B의 텍스트 부분이며, 인코더/디코더는 VibeVoice의 인과적 음성 분사기(causal speech tokenizer, 24kHz)를 사용합니다. 텍스트 기반 캐릭터 카드로 페르소나를 설정하고, 짧은 참고 녹음으로 음색을 설정할 수 있으며, 영어, 스페인어, 포르투갈어, 독일어, 프랑스어, 중국어, 일본어, 러시아어, 한국어 등 9개 언어를 지원합니다.
왜 중요한가 듣기와 말하기가 동일한 언어 모델 위치에서 동기화되어 진행되므로 상대방의 발화가 끝날 때까지 기다릴 필요가 없습니다. 단일 소비자용 GPU로 실행 가능하며, Mac용 네이티브 앱이 제공되고, 가중치는 Apache 라이선스를 따릅니다.
상승 점수 136 · 좋아요 149 · 다운로드 수 165
이유
- 세 가지 구현 방식이 동일한 가중치를 공유합니다: PyTorch(웹 데모 포함), Apple 실리콘용 MLX 구현 및 네이티브 macOS 앱, vLLM-Omni 서비스 플러그인(다중 동시 처리, 저지연)
- 공식적으로 NVIDIA GPU에서 약 12GB의 VRAM이면 웹 데모를 실행할 수 있다고 명시되어 있습니다. Python 인터페이스는 프레임 단위로 오디오를 송수신하며, 오프라인 명령어
haru-inference도 제공됩니다. - 코드 저장소와 기술 블로그(영어, 일본어)가 동시에 공개되어 있습니다.
사용법
git clone https://github.com/higurashi-ai/Haru,pip install -e ./haru,python -m haru.server --hf-repo higurashi-ai/Haru-4B를 실행한 후 브라우저에서localhost:8998을 열고, 캐릭터를 선택하고 음색을 지정한 후 바로 대화할 수 있습니다.- 기본 음색이 제공되지 않습니다: 1인, 깨끗한 3초에서 3분 사이의 녹음 파일을 업로드하거나 직접 녹음해야 합니다. 공식적으로 유선 이어폰과 마이크 사용을 권장하며, Bluetooth는 100밀리초 이상의 추가 지연을 유발할 수 있습니다.
- 캐릭터 카드는 고정된 형식을 따르며,
haru.prompt의render\_card를 사용하여 생성합니다.
리스크
- 사전 학습된 기반 모델입니다: 자연스러운 대화가 가능하지만, 공식 문서에 따르면 신뢰할 수 있는 사실 정보 출처가 아니며, 어시스턴트처럼 지시를 따르는 방식이 아닙니다.
- 참고 녹음의 목소리를 모방할 수 있으므로, 사용 권한이 있는 목소리만 사용해야 합니다.
- 공개된 벤치마크 수치가 없으며, 모델 카드에 다른 전이중 모델과의 비교가 포함되어 있지 않습니다. 본 항목은 실행되지 않았습니다.