원제: Edge0/Audio8-TTS-Realistic-Air
Edge0이 Audio8-TTS-Preview-0.6b를 기반으로 계속 학습한 음성 합성 모델: 주 모델은 0.6B(601,159,424 파라미터, 별도로 포함된 44.1 kHz 코덱 제외), 저자는 발화가 더 자연스럽고 운율이 더 표현력 있다고 주장; 23개 언어 지원, Preview 대비 아랍어, 핀란드어, 힌디어, 인도네시아어, 말레이어, 노르웨이어, 포르투갈어, 러시아어, 스웨덴어, 태국어, 터키어, 베트남어 12개 추가, 중국어, 광둥어, 영어, 일본어, 한국어 포함. 참고 녹음 파일과 전사 텍스트를 제공하면 제로샷으로 음색을 클로닝할 수 있으며, 참고 자료 없이도 직접 합성 가능. 구조는 Fish Audio S2 Pro의 DualAR을 참고함: 느린 AR은 프레임당 하나의 의미 토큰을 예측하고, 빠른 AR은 해당 프레임의 10개 코드북을 예측. 10월 14일 리포지토리 생성, 이전 호에서는 다루지 않음.
상승 점수 252 · 좋아요 318 · 다운로드 수 11349
이유
- 소규모 모델, 다국어: 저자는 Seed-TTS의 중국어 및 영어 평균 오류율이 1.25%(Preview 1.23%), 화자 유사도가 0.704(Preview 0.682)라고 주장; CV3의 8개 공통 언어 오류율이 4.80%에서 4.56%로 감소. 저자는 이러한 지표가 이해도와 유사도를 측정하며 '현실감'을 직접 측정하지는 않는다고 명시함.
- 배포 경로 완비: Transformers로 직접 로드 가능(코덱이 패키징되어 있어 별도로 찾을 필요 없음), 또한 SGLang Omni 플러그인을 통해 페이징 어텐션, 동적 배치 처리 및 OpenAI 호환 /v1/audio/speech 인터페이스 제공; GitHub 리포지토리에는 명령줄, 배치 처리 및 지도 미세 조정 스크립트도 포함됨.
- Apache-2.0 라이선스, ZeroGPU 온라인 체험 Space 제공; Hugging Face 좋아요 수 318(관심도만 반영).
사용법
- pip install "torch>=2.5.0" "torchaudio>=2.5.0" "transformers>=4.57.0,<5" soundfile safetensors; AutoProcessor / AutoModel.from_pretrained('Edge0/Audio8-TTS-Realistic-Air', trust_remote_code=True), 클로닝 시 reference_audio와 녹음과 정확히 일치하는 reference_text를 입력, generate(max_new_tokens=1024, temperature=0.8, top_p=0.95, top_k=50, do_sample=True, return_dict_in_generate=True) 실행 후 model.decode_audio(output.codes)를 사용하여 wav 파일로 저장.
- 참고 음색이 필요 없을 경우 processor에는 text만 전달; 참고 녹음은 깨끗해야 하며, 긴 텍스트는 여러 부분으로 나누어 합성(참고 오디오, 전사 텍스트 및 대상 텍스트가 컨텍스트를 공유). 서비스화 시 GitHub Edge0-AI/Audio8_TTS의 sglang_omni 설정 파일 audio8_tts_0_6b.yaml을 사용하고 모델 경로에 본 리포지토리를 지정.
리스크
- 언어 간 차이 큼: 저자의 CV3 표에 따르면 중국어 CER은 1.814%, 영어 WER은 2.907%인 반면, 태국어는 48.574%, 핀란드어는 32.279%, 베트남어는 28.111%; 중국어 난이도 높은 사례의 CER은 Preview보다 약간 높음(11.510% → 12.797%).
- SGLang 서비스는 H20에서 실행 가능한지 검증되었을 뿐(비스트리밍, torch.compile 및 CUDA Graph 비활성화 상태), 처리량과 스트리밍은 테스트되지 않음. 저자는 발음 오류, 반복, 누락 또는 조기 종료 가능성이 있을 수 있으므로 최종 결과물 확인 시 모든 항목을 청취할 것을 권고함.
- 타인의 음성을 클로닝할 경우 사전 허가를 받아야 하며, 합성된 오디오는 상황에 따라 명시해야 함; 문서에는 워터마크에 대한 언급이 없음.