원제: Zyphra/ZONOS3-Mini
Zyphra의 오픈 소스 텍스트 음성 변환(TTS) 모델로, 총 파라미터는 8억 개이며 MoE 구조를 채택해 토큰당 약 1억 개의 파라미터가 활성화됩니다. 중국어(만다린), 일본어, 한국어 등 43개 언어를 지원합니다. 최대 60초 길이의 참고 음성을 사용해 목소리를 클로닝할 수 있으며, 화자 벡터를 통해 캐릭터의 음색을 조정하고 울림 크기, 대역폭, 말 속도별로 단계별 제어가 가능합니다. 공식적으로는 감정과 리듬을 개별 단어 단위로 제어할 수도 있다고 합니다. 출력 오디오는 44.1kHz이며, 한 번에 최대 10분까지 생성할 수 있습니다. 공식 자료에 따르면 H100 GPU 1장에서 8개 동시 처리 시 첫 번째 오디오 패킷의 중위 지연 시간은 80밀리초이며, 피크 처리량은 초당 457초 분량의 오디오 생성입니다.
중요한 이유 브라우저에서 로컬 GPU를 사용해 목소리를 클로닝할 수 있으며, 단어 단위로 감정과 말 속도를 제어할 수 있고, 가중치는 Apache 라이선스로 상업적 사용이 가능합니다.
상승 점수 83 · 좋아요 84 · 다운로드 수 856
이유
- 용량이 작아 공식적으로 스마트폰, 노트북 및 브라우저에서 실시간 실행이 가능하다고 합니다. 브라우저 버전은 WebGPU를 사용하므로 설치나 서버가 필요 없습니다.
- 다양한 실행 방식: SGLang-Omni는 OpenAI 호환 /v1/audio/speech 인터페이스와 스트리밍 출력을 제공하며, 공식적으로 CUDA, MLX(Apple 칩), C++/ggml 및 WebGPU 런타임이 별도로 제공됩니다. 기본 음색 27개가 포함되어 있습니다.
- 가중치는 Apache-2.0 라이선스로 상업적 사용이 가능합니다.
사용법
- 브라우저에서 공식 Zonos Voice Studio 또는 Lite 페이지를 열어 바로 사용해 보세요(WebGPU 지원 브라우저 필요, 첫 방문 시 모델 다운로드 발생)
- 서버 측: SGLang-Omni 설치 후
sgl-omni serve --model-path Zyphra/ZONOS3-Mini명령으로 실행합니다. 요청에서references를 지정해 참고 음성을 제공하면 클로닝이 가능하며,"stream": true를 추가하면 스트리밍 출력이 가능합니다.
위험 요소
- 품질 및 속도 비교는 공식적으로 자체 ZTTS2-Eval 벤치마크에서 측정된 것이며, 전체 평가 결과는 공식 블로그에 있습니다.
- 음성 클로닝이 오용될 수 있으므로 타인의 목소리를 사용하기 전에 허락을 받아야 합니다.
- 이 항목은 실행되지 않았으므로 효과는 모델 카드를 기준으로 합니다.