원제: VoxMel TTS 기술 보고서
연속 자기회귀 음성 합성은 일반적으로 압축된 음향 표현(예: VAE 잠재 변수)을 먼저 학습하지만, 인코더가 충실도를 제한합니다. 멜 스펙트럼을 직접 사용하면 인코더가 필요 없지만, 안정적으로 자기회귀 모델링하기 어렵습니다. VoxMel은 고정되어 있으며 정확히 복원 가능한 2축 Haar 변환을 사용하여 멜 스펙트럼을 분해합니다. 먼저 주파수 축을 따라 국소 평균과 주파수 잔차로 분해한 후, 시간 축을 따라 거친 멜(Coarse-Mel)과 시간 잔차로 분해합니다. 언어 모델 백본과 흐름 매칭 헤드는 거친 부분만 자기회귀적으로 생성하며, 두 개의 비자기회귀 레이어가 시간 잔차와 주파수 잔차를 순서대로 보완합니다. 잔차는 자기회귀 히스토리에 피드백되지 않습니다. 저자들은 100K 시간의 Emilia 데이터셋으로 학습된 0.6B 모델의 영어 WER이 1.51%, 중국어 CER이 1.29%이며, GRPO 적용 후 각각 1.15%와 1.17%라고 보고했습니다. 또한 흐름 매칭 헤드는 2단계 및 4단계 증류 버전을 생성합니다.
왜 중요한가 소규모 파라미터 모델로 중국어 및 영어 제로샷 음성 클로닝을 수행하며, 저자들은 영어 단어 오류율이 더 큰 여러 모델보다 낮다고 보고합니다. 코드와 가중치는 모두 Apache 라이선스로 오픈소스화되었습니다.
좋아요 22 · 코드 스타 수 92
이유
- VoxMel-0.6B 및 VoxMel-0.3B 두 가지 가중치가 공개되었으며, 0.6B만 GRPO 후 학습을 거쳤습니다.
- 음성 분사기 학습이 필요 없으며, 텍스트 쪽에서는 Qwen2.5 분사기를 직접 사용하고, 최종적으로 24kHz의 Vocos 보코더로 음성을 출력합니다.
- Python 인터페이스, voxmel 명령줄 도구 및 Gradio 웹 데모를 제공하며, 텍스트 가이드와 음색 가이드의 강도를 별도로 조정할 수 있습니다.
사용법
- 코드: https://github.com/VoxDance-Lab/VoxMel(Apache-2.0);权重在抱脸 VoxDance-Lab/VoxMel-0.6B, Vocos 보코더 가중치는 별도로 준비해야 합니다.
- pip install -e . 실행 후 voxmel --model <가중치 디렉터리> --vocos-path <Vocos 디렉터리> --prompt-audio reference.wav --prompt-text "참고 오디오 원문" --text "합성할 문장" 명령으로 생성합니다. device를 auto로 설정하면 CUDA, MPS, CPU 간에 자동으로 선택됩니다.
위험 요소
- 음성 클로닝에는 참고 오디오의 정확한 전사본이 필수이며, 타인의 음성을 모방하기 전에는 반드시 본인 동의를 얻어야 합니다.
- 논문에서 언급된 2단계 및 4단계 증류 버전은 README에 다운로드 링크가 명시되어 있지 않습니다. MPS에서의 연산자 지원 및 속도는 저자들이 추가 검증이 필요하다고 언급했습니다.
- 성능 수치는 저자들이 보고한 것이며, 본 항목에서는 실행되지 않았습니다.