tiny-voca: CPU만으로 실행 가능한 소형 영어 음성 합성 모델

n4ze3m이 11월 14일에 업로드한 영어 TTS 모델로, 저자는 파형 생성 부분을 포함해 총 4,537,291개의 파라미터를 가지며, 24kHz 모노 채널을 출력하고 F2(여성)과 M2(남성) 두 가지 미국 영어 음성을 지원한다고 밝혔습니다. 이 모델은 신경 보코더 대신 소스-필터 합성기를 사용하며, 약 17.6시간의 훈련 데이터는 모두 Qwen3-TTS로 합성된 것으로 실제 인간 녹음은 없습니다. PyTorch 가중치와 onnxruntime-web에서 실행 가능한 ONNX 버전을 제공합니다.

원제: n4ze3m/tiny-voca

n4ze3m이 11월 14일에 업로드한 영어 TTS 모델로, 저자는 파형 생성 부분을 포함해 총 4,537,291개의 파라미터를 가지며, 24kHz 모노 채널을 출력하고 F2(여성)과 M2(남성) 두 가지 미국 영어 음성을 지원한다고 밝혔습니다. 이 모델은 신경 보코더 대신 소스-필터 합성기를 사용하며, 약 17.6시간의 훈련 데이터는 모두 Qwen3-TTS로 합성된 것으로 실제 인간 녹음은 없습니다. PyTorch 가중치와 onnxruntime-web에서 실행 가능한 ONNX 버전을 제공합니다.

왜 중요한가 전체 모델은 약 4~5백만 개의 파라미터로 GPU가 필요 없으며, 오프라인 애플리케이션, 웹 또는 임베디드 디바이스에 영어 음성 읽기 기능을 추가하기에 적합합니다

상승 점수 77 · 좋아요 77 · 다운로드 수 40

이유

  • 저자는 4개의 CPU 스레드에서 실시간 속도의 약 70배 성능을 낸다고 주장하며, 모델 카드에는 모바일이나 브라우저에서 실행 가능하다고 명시되어 있습니다
  • 데이터셋, 훈련 코드, 음소 변환 도구인 dizione이 모두 공개되어 있으며, 저자는 전체 프로젝트가 임대된 RTX 4090에서 9.56달러의 비용으로 진행되었다고 밝혔습니다
  • 모델 카드에는 4개의 예제 오디오(두 음성 각각 한 세트), 전체 파라미터 표 및 한계점 설명이 포함되어 있습니다

사용법

  • pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca,下载模型后设 DIZIONE_DATA=tiny-voca/phonemizer를 실행한 후, python -m tiny_voca.infer --checkpoint tiny-voca/tiny-voca.pt --voice F2 --text "…" --output hello.wav를 사용합니다
  • --speed(속도), --pitch-shift(0.058 약 반음), --pitch-range를 조정할 수 있으며, 긴 텍스트는 문장 단위로 분할한 후 연결합니다
  • ONNX 버전은 한 번에 최대 512개의 음소, 32초까지 처리할 수 있으며, 먼저 dizione을 사용해 음소로 변환해야 합니다. 출력값이 간혹 1.0을 초과할 수 있으므로, 16비트 오디오로 저장하기 전에 모델 카드의 예시에 따라 스케일링합니다

리스크

  • 영어만 지원하고 두 가지 고정된 음성만 제공하며, 음성 클로닝이나 스트리밍을 지원하지 않습니다. 같은 문장은 매번 동일한 방식으로 읽히며, 외국 인명이나 드문 철자는 자주 잘못 읽힙니다
  • 저자는 음성이 명확하지만 약간의 합성 느낌이 난다고 언급했으며, F2은 설계된 것보다 더 젊게 들립니다. 훈련 데이터 자체가 합성 음성인 만큼 자연도는 이를 생성한 Qwen3-TTS를 넘어서지 못합니다
  • 평가는 8~16개의 문장에 대한 Whisper 인식 오류율만 포함하며, 저자는 이것이 자체 점검일 뿐 공식적인 청취 테스트가 아니라고 설명했습니다. 본 항목은 실행되지 않았으며试听되지 않았습니다

열기

Hugging Face Trending

최신 AI 소식 보기