Edge0의 0.6B 다국어 음성 합성 모델로, Audio8-TTS-Preview의 개선 버전입니다. 참고 녹음 파일과 해당 전사 텍스트를 제공하면 제로샷(zero-shot)으로 음색을 복제할 수 있으며, 참고 자료 없이도 바로 합성할 수 있습니다. 중국어, 광둥어, 영어, 일본어, 한국어 등 23개 언어를 지원하며(Preview보다 12개 언어 추가), 44.1kHz 오디오를 출력합니다.
상승 점수 118 · 좋아요 119 · 다운로드 수 813
이유
- Fish Audio S2 Pro의 DualAR 구조를 따릅니다. 느린 자기회귀 모델은 프레임당 하나의 의미 토큰을 예측하고, 빠른 자기회귀 모델은 10개의 코드북을 생성합니다. 메인 모델은 601M 파라미터를 가지며(저장소에 포함된 44.1kHz 코덱 제외), 저장소에는 체크포인트, 코덱, 토크나이저 및 코드가 모두 포함되어 있습니다.
- 공식 자료에 따르면 Seed-TTS의 중국어 및 영어 오류율은 1.25(Preview는 1.23), 화자 유사도는 0.704(Preview는 0.682)입니다. MiniMax의 24개 언어 오류율은 5.89로, Qwen3-TTS-1.7B의 27.41보다 좋지만, 4B급의 Higgs Audio v3(2.74) 및 Fish S2 Pro(4.40)보다는 낮습니다. 또한 공식 자료에서는 이러한 지표가 가독성과 음색 유사도만 측정하며 '사실감(realism)'을 직접 측정하지는 않는다고 명시했습니다.
- 설치 없이 사용할 수 있는 Hugging Face Playground가 있으며, SGLang Omni 플러그인은 OpenAI 호환 /v1/audio/speech 인터페이스를 제공합니다. 라이선스는 Apache-2.0이며, 이전 호에서는 다루지 않았습니다.
사용법
- 명령줄: git clone Edge0-AI/Audio8_TTS, pip install -r requirements.txt, python audio8_tts_infer.py --model Edge0/Audio8-TTS-Realistic-0.6b --text "합성할 텍스트" --output outputs/realistic.wav; 음색 복제를 위해 --reference-audio reference.wav --reference-text "참고 녹음의 전사 텍스트"를 추가합니다(전사 텍스트는 녹음 내용과 완전히 일치해야 합니다).
- Transformers(4.57 이상 5 미만, trust_remote_code=True): processor에 text, reference_audio, reference_text를 전달하고, generate 시 temperature 0.8, top_p 0.95, top_k 50을 사용하며, 이후 model.decode_audio로 파형으로 디코딩합니다.
- 긴 문단은 짧은 문장으로 나누어야 합니다. 참고 오디오, 전사 텍스트 및 대상 텍스트는 2,048개 위치의 컨텍스트를 공유합니다.
리스크
- 언어별 품질 차이가 큽니다. CV3에서 태국어 오류율은 48.574, 핀란드어는 32.279이며, MiniMax 데이터셋에서 광둥어는 31.349입니다. 지원 목록이 모든 언어가 동등하게 사용 가능함을 의미하지는 않습니다.
- 공식적으로 H20 BF16에서만 실행 가능 여부를 확인했으며, 처리량 및 스트리밍 성능은 테스트되지 않았습니다. 오독, 반복, 누락 또는 조기 종료 현상이 발생할 수 있으므로, 공식에서는 최종 제품화 전에 각 항목을 직접 청취할 것을 권장합니다. 본 칼럼에서는 예제를 들어보지 않았습니다.
- 타인의 음성을 복제할 경우 허가를 받아야 하며, 필요에 따라 합성 오디오임을 명시해야 합니다.