원제: adventists-ai/Sophon-Realtime-v1
Adventists AI의 전이중 음성 대화 모델 제품군 홈페이지입니다. 세 가지 버전 모두 동일한 32B 모델을 사용하여 청취, 발화 순서 판단 및 응답 작성을 수행하며, 차이점은 음성 생성 방식에만 있습니다. Tag(권장)는 모델이 음성 마커가 포함된 응답을 작성한 후, 표현력 있는 음성 모델이 웃음, 한숨, 목 가다듬기 등을 연기합니다. Flash는 더 가볍고 빠른 음성 모델로 교체되었으며, 공식적으로 단일 사용자 기준 첫 오디오 패킷 지연 시간은 0.31초라고 합니다. E2E는 엔드투엔드 연구 프리뷰입니다. 공식적으로 VoiceBench 점수 82.8, Big Bench Audio 점수 81.8%를 기록하여 오픈소스 전이중 모델 중 1위를 차지했다고 밝혔습니다. 말 끊기(interruption) 및 맞장구(chiming in) 기능을 지원하며, OpenAI GPT-Live 프로토콜과 호환되는 게이트웨이를 통해 쿼리 및 작업을 백엔드 대형 언어 모델로 전달할 수 있습니다.
중요한 이유 오픈소스 실시간 음성 대화 분야에서 어조를 감지하고 웃음이나 한숨으로 응답하는 사례는 드뭅니다. 단일 GPU로 배포 가능하며 상업적 사용이 가능합니다.
상승 점수 63 · 좋아요 65 · 다운로드 수 0
이유
- 망설임, 강조, 아이러니, 웃음 등 어조 정보를 감지하고 이에 맞는 어조로 응답합니다.
- Tag 및 Flash 버전은 공식적으로 단일 80 GB GPU에서 vLLM-Omni를 사용하여 한 번의 명령어로 서비스를 시작할 수 있다고 합니다.
- 코드와 가중치는 Apache-2.0 라이선스를 따르며 상업적 사용이 가능합니다. LoRA를 통해 페르소나, 어조 및 도메인 지식을 미세 조정할 수 있습니다.
사용법
- pip install sophon-realtime 설치 후 sophon-realtime serve 실행(첫 실행 시 약 42 GB의 Tag 가중치가 다운로드됩니다.)
- 청취만 원한다면 ModelScope Creative Space에서 온라인 대화를 시도할 수 있습니다. 배포용 가중치는 Sophon-Realtime-32B-Tag / Flash 두 저장소에 있습니다.
리스크
- 이 저장소는 제품군 홈페이지이며, 배포 시에는 Tag 또는 Flash 저장소의 가중치를 사용해야 하고, 미세 조정 기반 모델은 ModelScope에 있습니다.
- 평가는 대부분 공식 자체 실행이며 대형 언어 모델에 의해 채점되었습니다.
- 본 항목은 실행되지 않았으므로 효과는 모델 카드를 기준으로 합니다.