Sophon-Realtime-4B-Flash는 adventists-ai가 오픈소스로 공개한 전이중(full-duplex) 음성 대화 모델입니다. 사용자가 말할 때 지속적으로 청취하며, 음성을 통해 발화가 끝났는지 판단하고, [laughter], [sigh] 등의 음성 태그가 포함된 답변을 작성하는 동시에 말하기 시작합니다. 더 가벼운 음성 모델이 80밀리초 단위로 한 프레임씩 낭독합니다. 공식적으로 단일 24GB 그래픽 카드에서 실행 가능하다고 명시되어 있으며(약 21GB 점유), RTX PRO 6000 환경에서 첫 번째 오디오 세그먼트가 약 0.21초 만에 출력되고, Full-Duplex-Bench v1.0의 4개 항목 평균 점수는 87.7입니다. 이 모델은 vLLM-Omni 모델로 배포되며 /v1/realtime 및 /v1/chat/completions 인터페이스를 제공합니다. 같은 시리즈에는 표현력이 더 뛰어난 Tag 버전과 엔드투엔드 E2E 버전도 있으며(두 버전 모두 32GB 그래픽 카드 필요)。
왜 중요한가 같은 시리즈의 32B 버전은 더 큰 GPU를 요구합니다. 4B 버전은 끼어들기, 대화 이어받기, 웃음 및 한숨 등의 음성 태그 기능을 유지하여 로컬에서의 대화 상대나 역할극에 적합하지만, 지식 수준은 훨씬 낮습니다。
Hugging Face 좋아요 6 · Hugging Face 상승 점수 5 · Hugging Face 다운로드 수 31
라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: 32 GB
이유
- Apache-2.0 라이선스를 적용하며, Hugging Face와 ModelScope에서 모두 다운로드할 수 있고, Hugging Face 온라인 데모 공간이 제공됨
- 모델 카드에 4B와 32B 버전의 벤치마크 점수 차이, 측정 조건 및 적합한 사용 시나리오가 명확히 기재되어 있음
사용법
- git clone https://github.com/adventists-ai/sophon-realtime 후 flash 디렉토리로 이동하여 bash install.sh를 실행합니다. hf download adventists-ai/Sophon-Realtime-4B-Flash --local-dir ./model을 수행한 뒤, GPU=0 PORT=8000 bash start.sh로 서버를 시작하고, python client_example.py --url http://127.0.0.1:8000 명령어를 사용하여 대화합니다
리스크
- 공식적으로 4B 버전의 지식 및 추론 능력이 32B 버전보다 훨씬 약하다고 명시되어 있습니다(VoiceBench 점수 62.4 대 82.8). 사실과 다른 내용을 자신 있게 말할 수 있으므로, 정확한 답변이 필요한 경우 32B 버전을 사용해야 합니다
- 음성만 처리하며 시각 기능은 없습니다. 제로샷(zero-shot) 음성 클론을 지원하지만, 본인 또는 사전에 허락을 받은 목소리만 클론할 수 있습니다. 모델 카드 상단에서 추천하는 호스팅 API는 공식 유료 서비스입니다