Maya Research의 스트리밍 음성 합성 모델: 11개 인도 언어와 영어를 지원하며, 24kHz 모노 음성 출력, 내장된 20개의 합성 음색 제공, 3–10초의 참조 오디오를 사용하여 제로샷(zero-shot) 음색 클로닝 가능, 언어 간 사용 가능(예: 힌디어 참조 오디오로 타밀어 발화).
상승 점수 72 · 좋아요 72 · 다운로드 수 0
이유
- 공식적으로 2.50B 파라미터(약 5.0GB BF16 가중치)라고 명시: 백본은 Qwen3-1.7B-Base에서 초기화되었으며, 약 555M의 깊이 디코더(depth decoder)가 추가되었고, Kyutai Mimi 코덱을 사용하며, 매 80ms마다 오디오 프레임을 출력하여 생성 중 재생이 가능합니다.
- 공식적으로 6,000개의 홀드아웃 텍스트(12개 언어, 31개 콘텐츠 유형, 총 20.3시간의 음성)로 평가: 세 개의 ASR 평가자 기준 전체 단어 오류율(WER)은 2.86%에서 3.49% 사이(scorer v1)입니다. URL 및 인도 언어와 영어가 혼용된 텍스트는 여전히 어려우며, URL 유형의 ASR-1 단어 오류율은 29.06%입니다.
- 공식적으로 단일 H100 NVL GPU에서 224개의 동시 WebSocket 스트림을 지원하며, 정상 상태 첫 패킷 지연 시간 p50는 111ms입니다. 10월 27일 기준 VoiceArena 힌디어 실시간 TTS 랭킹에서 2위를 기록했습니다. 10월 26일 저장소가 생성되었으며, 이전 기간에는 포함되지 않았습니다.
사용법
- 환경: Linux, Python 3.10–3.12, CUDA 12.8을 지원하는 NVIDIA GPU; pip install "maya3[server] @ git+https://github.com/MayaResearch/maya2-native" --extra-index-url https://download.pytorch.org/whl/cu128（包名和类名仍叫 maya3 / Maya3TTS).
- Python: tts = Maya3TTS.from_pretrained("maya-research/maya2-native", max_seats=1); tts.generate(텍스트, lang="hi", voice="Ahana", normalize=True)는 24kHz 파형을 반환합니다. Python 인터페이스에서는 normalize=True를 수동으로 전달해야 숫자, 통화, 날짜가 구어체 읽기 방식으로 변환되며, 스트리밍은 tts.stream(...)을 사용합니다.
- 클로닝: tts.register_voice("my_voice", ref_audio=참조 오디오, ref_text=정확한 전사, lang=참조 언어), 생성 시 lang에는 대상 언어를 입력합니다. 서버 측: python -m maya3.server --ckpt maya-research/maya2-native --port 8080 --max-seats 1, OpenAI 호환 /v1/audio/speech 및 WebSocket 스트리밍 인터페이스를 제공합니다.
리스크
- 중국어 미지원; 내장된 어떤 음색도 1시간 이상의 아삼어 훈련 데이터를 가지고 있지 않아 벵골어 억양이 포함될 수 있습니다. 한두 단어의 짧은 문장은 음색이 불안정합니다.
- 공식적으로 단일 경로 로드 시 피크 메모리는 약 9.2GB(CUDA 컨텍스트 제외)이며, 12GB 이상의 GPU를 권장합니다. 기본 제공 서버에는 인증 기능이 없으므로 외부 공개 시 자체적으로 추가해야 합니다.
- 오디오 워터마킹 미지원, 공식적으로 본인 또는 권한이 부여된 목소리만 클로닝하도록 요구합니다. 클로닝 유사성에 대한 전용 평가가 없으며, 모든 점수는 ASR 및 화자 인식 자동 평가 결과일 뿐, 인간 자연성 평가나 다른 TTS 시스템과의 비교가 없습니다.