Inflect Mini v3: CPU에서 실행 가능한 소형 영어 음성 합성

Owen Song이 11월 10일에 업로드한 영어 음성 합성 v3로, 모델 카드에 따르면 핵심 파라미터는 34.31M개(FP32 가중치 138.4 MB)이며, 네이티브 24 kHz 출력을 지원하고, 선택적으로 2.85M 파라미터의 향상기를 통해 48 kHz 출력을 생성할 수 있습니다. cassidy, mark, hope, james, sophia, jasper 등 6가지 음색이 내장되어 있으며, [laugh], [sigh], [gasp] 등 8가지 음성 이벤트 태그를 지원합니다. Voice Tuner를 사용하면 5~15초의 라이선스된 녹음으로 재사용 가능한 음색 프로필을 만들 수 있습니다. 저장소는 완전한 추론 패키지이며, Apache-2.0 라이선스를 따릅니다.

원제: owensong/Inflect-Mini-v3

Owen Song이 11월 10일에 업로드한 영어 음성 합성 v3로, 모델 카드에 따르면 핵심 파라미터는 34.31M개(FP32 가중치 138.4 MB)이며, 네이티브 24 kHz 출력을 지원하고, 선택적으로 2.85M 파라미터의 향상기를 통해 48 kHz 출력을 생성할 수 있습니다. cassidy, mark, hope, james, sophia, jasper 등 6가지 음색이 내장되어 있으며, [laugh], [sigh], [gasp] 등 8가지 음성 이벤트 태그를 지원합니다. Voice Tuner를 사용하면 5~15초의 라이선스된 녹음으로 재사용 가능한 음색 프로필을 만들 수 있습니다. 저장소는 완전한 추론 패키지이며, Apache-2.0 라이선스를 따릅니다.

왜 중요한가 용량이 작고 Apache 라이선스로 상업적 사용이 가능하며, CPU에서도 로컬 생성이 가능하여 내레이션, 운영 안내 및 오프라인 낭독에 적합합니다

상승 점수 42 · 좋아요 42 · 다운로드 수 590

이유

  • 저자 자체 평가: 6가지 음색의 평균 단어 오류율 0.739%(각 음색당 1,688개 텍스트 세그먼트), UTMOS22Strong 4.479; 저자는 이것이 공식 리더보드 제출이 아니며 Kokoro 등의 리더보드 수치와 직접 비교할 수 없다고 명시했습니다
  • 저자에 따르면 RTX 5090에서 최적화된 CUDA 경로를 사용하면 약 162배 실시간 속도를, Ryzen 9 3900X에서 2개 스레드를 사용하면 약 1.81배 실시간 속도를 달성합니다
  • 같은 시리즈에는 11.79M 파라미터의 Micro v3와 157.19K 파라미터의 Atom v3가 있으며, GitHub에는 Mini를 다른 언어에 적용하기 위한 학습 도구 키트도 제공됩니다

사용법

  • Python 3.12 새 환경: hf download owensong/Inflect-Mini-v3로 전체 저장소를 다운로드하고, verify_release.py를 실행하여 검증한 후, core/requirements-cpu.txt를 설치하고, python run.py speech --voice cassidy --text "..." --output out.wav를 실행합니다
  • 음성 이벤트: extras/events의 의존성을 먼저 설치한 후, python run.py events --voice cassidy --text "... [laugh] ..."를 실행합니다(CPU 및 24 kHz 환경에서만 사용 가능); 48 kHz를 사용하려면 --profile enhanced를 지정합니다
  • GPU: 별도의 환경을 만들어 core/requirements-cuda.txt를 설치하고, --device cuda --runtime cuda-source를 추가합니다. 온라인 시연은 owensong/Inflect-v3 Space에서 확인할 수 있습니다

리스크

  • 영어만 지원됩니다. 이벤트 태그는 주변 문장의 감정을 변경하지 않으며, 속삭임, 분노 등의 스타일 제어 기능도 없습니다
  • Voice Tuner는 Linux CPU 등록만 지원하며, 유사도는 녹음 품질에 따라 달라지고 저자는 원본 목소리의 복제를 보장하지 않는다고 밝혔습니다. 라이선스가 있는 목소리만 사용할 수 있습니다
  • 단어 오류율과 음질 점수는 모두 저자 자체 평가이며, 평가 코퍼스는 개발 과정에서 사용되었습니다. 향상기는 일부 자료에서 약간의 허밍 소음이 발생할 수 있습니다. 이 항목은 실행되지 않았습니다

열기

Hugging Face Trending

최신 AI 소식 보기