원제: adventists-ai/Sophon-Realtime-v1
Adventists AI(AI 강림파)의 오픈 소스 전이중(full-duplex) 음성 모델 패밀리로, 11-10에 이미 수록되었습니다. 세 가지 버전은 듣기, 턴(turn) 판단, 답변 작성을 담당하는 동일한 32B '두뇌'를 공유하며, 차이점은 답변이 음성으로 변환되는 방식에만 있습니다. Tag는 표현력이 더 뛰어난 음성 모델을 사용하며, Flash는 더 빠르고 단일 GPU에서 더 많은 동시 처리를 지원하고, E2E는 약 3.5억 매개변수의 화자 헤드를 사용하여 연속적인 음성 벡터를 직접 생성합니다. 11-10 이후의 진전 사항: 11-11 E2E 버전(1.1.3)이 프리뷰에서 정식 버전으로 전환되었으며, 두 장의 GPU에서 하나의 80GB GPU로 요구 사항이 줄었습니다. 11-12(1.1.4) E2E도 vLLM-Omni 모델로 배포할 수 있으며, 명령어와 인터페이스는 Tag, Flash와 동일합니다. 11-13(1.2.0) 긴 답변이 약 2분 지점에서 더 이상 잘리지 않습니다. 11-14(1.3.0) E2E가 제로샷(zero-shot) 음성 클로닝을 지원하며, 5–12초의 녹음 파일만 제공하면 되고 가중치는 변경되지 않았습니다.
왜 중요한가 지난 수록 이후 연속 업데이트: E2E 버전은 Tag, Flash와 동일한 인터페이스로 배포할 수 있으며, 긴 답변도 완결할 수 있고, 무료 체험용 호스팅 인터페이스도 제공합니다
상승 점수 158 · 좋아요 210 · 다운로드 수 0
이유
- 공식적으로 세 버전이 공유하는 두뇌는 VoiceBench 82.8, Big Bench Audio 81.8%에서 오픈 소스 전이중 모델 중 1위를 차지했다고 주장합니다. E2E의 단일 스트림 첫 패킷(first packet) 지연은 약 0.25초이며, 단일 GPU 권장 동시 처리는 16개 스트림입니다
- 공식적으로 E2E의 비언어적 음성 평가 결과를 제시했습니다. NVV-SuperBench에서 중국어 0.85, 영어 0.75(웃음, 기침, 한숨, 호흡 네 가지 유형 합계)를 기록했습니다
- 홈페이지에 호스팅 인터페이스가 추가되었으며, 가입 시 3시간의 음성 대화를 무료로 제공합니다. OpenAI Realtime 프로토콜과 호환되며, GPU가 없어도 테스트할 수 있습니다
사용법
- E2E의 vLLM-Omni 방식: git clone 후 https://github.com/adventists-ai/sophon-realtime,进 e2e/ 디렉터리에서 bash install.sh(약 41GB)를 실행한 뒤, GPU=0 PORT=8000 bash start.sh를 실행합니다. 인터페이스는 /v1/realtime 및 /v1/chat/completions입니다
- 표현력 우선이라면 Tag를, 단일 GPU 동시 처리 우선이라면 Flash를 선택하세요(pip install "sophon-realtime[trt]" 후 sophon-realtime serve). Live 모드는 OpenAI GPT-Live 프로토콜과 호환되며, 쿼리와 작업을 더 큰 백엔드 모델에 위임할 수 있습니다
리스크
- H100급 80GB GPU가 필요합니다(E2E의 실제 사용량은 약 70GB). 공식적으로 RTX PRO 6000에서 E2E는 약 4–8개 동시 스트림만 처리할 수 있다고 주장합니다
- E2E 버전은 중국어와 영어 두 언어만 지원합니다. 평가 결과는 공식 자체 보고이며, 일부 비교 점수는 제3자 순위에서 가져온 것입니다
- 제로샷 음성 클로닝은 코드 1.3.0 이상 버전에서만 지원되며, vLLM-Omni 방식에서만 사용할 수 있습니다. 이 항목은 실행되지 않았습니다