원제: Edge0/Audio8-TTS-Realistic-Air
Edge0가 Audio8-TTS-Preview-0.6b를 기반으로 추가 학습한 음성 합성 모델로, 메인 모델은 6.01억 개의 파라미터(코덱 제외)를 가지며 Fish Audio S2 Pro에서 영감을 받은 DualAR 구조를 따릅니다. 느린 자기회귀 트랜스포머는 프레임당 하나의 의미 토큰을 예측하고, 빠른 자기회귀 트랜스포머는 해당 프레임의 10개 코드북을 예측합니다. 지원 언어가 프리뷰 버전의 11개에서 23개로 증가했으며, 아랍어, 핀란드어, 힌디어, 인도네시아어, 말레이어, 노르웨이어, 포르투갈어, 러시아어, 스웨덴어, 태국어, 터키어, 베트남어가 새로 추가되었습니다. 참고 녹음 파일과 전사문을 제공하여 제로샷 음성 클로닝을 수행할 수도 있고, 참고 자료 없이 직접 합성할 수도 있습니다. 저장소에는 44.1kHz 코덱이 포함되어 있습니다.
중요한 이유 메인 모델은 파라미터가 6억 개에 불과하고 Apache 라이선스를 따르며, SGLang Omni 서비스 어댑터와 OpenAI 호환 음성 인터페이스를 갖추고 있어 로컬 또는 대량 더빙 작업에 적합합니다.
상승 점수 52.5 · 좋아요 514 · 다운로드 수 18680
이유
- 공식 발표에 따르면 Seed-TTS의 중국어 및 영어 평균 오류율은 1.25%(프리뷰 버전은 1.23%)이며, 화자 유사도는 0.682에서 0.704로 향상되었습니다. CV3의 9개 언어 평균 오류율은 4.86%입니다.
- 공식 자료에서는 평균 수치만 제시하지 않고 언어별 오류율을 개별적으로 나열했습니다. 태국어, 핀란드어, 베트남어 등 신규 추가된 언어들은 CV3에서 오류율이 상대적으로 높게 나타났습니다.
- ZeroGPU 온라인 체험 Space가 제공되며, SGLang Omni 어댑터는 페이징 어텐션, 동적 배치 처리 및 /v1/audio/speech 인터페이스를 지원합니다.
사용법
- pip를 통해 torch, transformers(4.57 이상, 5 미만), soundfile을 설치한 후, AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True)를 사용합니다. 음성 복제 시에는 reference_audio와 완전히 일치하는 reference_text를 전달합니다.
- 배치 서비스는 GitHub 저장소 Edge0-AI/Audio8_TTS의 sglang_omni 설명에 따라 audio8_tts_0_6b.yaml 설정 파일을 사용하며, 모델 경로를 이 저장소로 변경합니다.
리스크
- 언어별 품질 차이가 크며, 광둥어와 일부 신규 추가된 언어의 오류율이 현저히 높습니다. 공식에서는 발음 오류, 반복, 누락 또는 조기 종료 가능성이 있을 수 있으므로 최종 결과물 확인 시 반드시 사람이 청취해야 한다고 경고했습니다.
- 공식 설명에 따르면 이러한 지표는 가독성과 음성 유사도만 측정하며 '현실감'을 직접 측정하지는 않습니다. 다른 모델과의 비교는 서로 다른 평가 프로세스에서 나온 것이므로 참고용으로만 사용하십시오.
- 커스텀 코드 실행을 위해 trust_remote_code가 필요하며, 음성 클로닝 시에는 라이선스 허가를 받아야 합니다. 이 항목은 아직 실행되지 않았습니다.