WaveGen: 보코더와 코덱 없이 텍스트에서 직접 파형 생성

현재의 TTS는 대부분 별도로 학습된 중간 표현(신경 오디오 코덱, 멜 스펙트로그램 보코더 또는 VAE 잠재 공간)에 의존하며, 정렬을 위해 길이 예측기도 필요합니다. WaveGen은 Spectral Forcing을 사용하여 하나의 모델 내에서 내부 스펙트럼 궤적과 목표 파형 궤적을 동시에 학습하며, 텍스트와 음성 간의 정렬도 모델 내부에서 수행됩니다. 따라서 BERT 텍스트 임베딩, Wav2Vec 2.0 의미 표현 등 자기 지도 학습 특징을 사용하지 않습니다. 저자들은 모델을 0.1B에서 0.6B로 확장했으며, 오픈소스 Emilia 데이터만으로 한 단계 훈련을 진행했습니다. Seed-en 벤치마크에서 WER 1.47, 화자 유사도 0.75를 기록하여 Emilia로 학습된 TTS 모델 중 최상의 성능을 달성했다고 주장합니다. 논문은 NeurIPS 2026에 채택되었습니다.

원제: WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

현재의 TTS는 대부분 별도로 학습된 중간 표현(신경 오디오 코덱, 멜 스펙트로그램 보코더 또는 VAE 잠재 공간)에 의존하며, 정렬을 위해 길이 예측기도 필요합니다. WaveGen은 Spectral Forcing을 사용하여 하나의 모델 내에서 내부 스펙트럼 궤적과 목표 파형 궤적을 동시에 학습하며, 텍스트와 음성 간의 정렬도 모델 내부에서 수행됩니다. 따라서 BERT 텍스트 임베딩, Wav2Vec 2.0 의미 표현 등 자기 지도 학습 특징을 사용하지 않습니다. 저자들은 모델을 0.1B에서 0.6B로 확장했으며, 오픈소스 Emilia 데이터만으로 한 단계 훈련을 진행했습니다. Seed-en 벤치마크에서 WER 1.47, 화자 유사도 0.75를 기록하여 Emilia로 학습된 TTS 모델 중 최상의 성능을 달성했다고 주장합니다. 논문은 NeurIPS 2026에 채택되었습니다.

왜 중요한가 보코더, 오디오 코덱, 길이 예측기 등 외부 모듈을 제거하고 단일 모델로 한 단계 훈련을 수행하여 음성 합성 파이프라인을 간소화함

좋아요 14 · 코드 스타 수 30

이유

  • 저장소에 세 가지 체크포인트 공개: 사전 학습 버전, 권장되는 V-Spec 버전(Seed-en WER 1.39, Seed-zh CER 1.65) 및 4 단계 샘플링된 WaveGen-Flash
  • 훈련, 추론, 평가 코드와 로컬 Gradio 데모가 모두 포함되어 있으며, 한국어와 영어를 동시에 지원함

사용법

  • 코드: https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen (ckpts/ 폴더에 배치)
  • pip install -e . 실행 후 wavegen_infer-cli를 사용하여 --ref_audio(참고 오디오), --ref_text(해당 텍스트) 및 --gen_text를 지정하여 생성; 또는 python app.py로 웹 데모 실행 가능

리스크

  • 코드는 MIT 라이선스이지만, 체크포인트는 CC BY-NC 4.0이므로 상업적 사용 불가
  • 참고 녹음을 통해 음성 클로닝이 가능하며, 저자는 화자의 동의를 얻고 AI 생성임을 명시할 것을 요구함. 저장소에는 자동 안전 필터가 없음
  • Flash 버전은 추론 코드와 가중치만 공개되었으며, 증류 훈련 방법은 비공개임. 본 항목은 실행되지 않음

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기