Kitten TTS 2 Mini: CPU에서 실행 가능한 다국어 음성 합성

KittenML이 11월 13일에 업로드함: 매개변수 82M, 언어 16종, 음색 118개, 출력 24kHz. int8(82.7MB) 및 int4(47.5MB) 두 가지 ONNX 가중치를 제공하며, 모두 CPU에서 실행 가능하고 PyTorch가 필요 없으며, 추가로 float32의 PyTorch 가중치도 포함됨. 영어에는 캐릭터 설명이 포함된 11개의 역할 음색(역사가, 라디오 기자, 스포츠 해설자 등)이 있으며, 동일한 이름의 음색은 독일어, 스페인어, 이탈리아어, 포르투갈어, 러시아어도 구사 가능; 기타 언어에는 각각 2–8개의 번호가 매겨진 음색이 있음. 모델, 음색 패키지 및 G2P 파일은 모두 Apache-2.0 라이선스임.

원제: KittenML/kitten-tts-2-mini

KittenML이 11월 13일에 업로드함: 매개변수 82M, 언어 16종, 음색 118개, 출력 24kHz. int8(82.7MB) 및 int4(47.5MB) 두 가지 ONNX 가중치를 제공하며, 모두 CPU에서 실행 가능하고 PyTorch가 필요 없으며, 추가로 float32의 PyTorch 가중치도 포함됨. 영어에는 캐릭터 설명이 포함된 11개의 역할 음색(역사가, 라디오 기자, 스포츠 해설자 등)이 있으며, 동일한 이름의 음색은 독일어, 스페인어, 이탈리아어, 포르투갈어, 러시아어도 구사 가능; 기타 언어에는 각각 2–8개의 번호가 매겨진 음색이 있음. 모델, 음색 패키지 및 G2P 파일은 모두 Apache-2.0 라이선스임.

중요한 이유 int4 버전은 50MB 미만으로 CPU에서 실행 가능하며, Apache 라이선스로 상업적 사용이 가능하여 오프라인 낭독 및 다국어 더빙에 적합함

상승 점수 35 · 좋아요 35 · 다운로드 수 3887

이유

  • 영어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 러시아어, 힌디어, 덴마크어, 핀란드어, 프랑스어, 일본어, 한국어, 네덜란드어, 스웨덴어, 스와힐리어, 터키어 등 총 16개 언어 지원
  • pip install kittenml로 한 줄 설치 후, 선택한 백엔드 및 가중치 형식에 따라 필요한 파일만 다운로드
  • 음색은 이름이나 설명으로 지정할 수 있으며, speed 매개변수로 말 속도를 조절 가능

사용법

  • pip install kittenml; KittenTTS("KittenML/kitten-tts-2-mini") 실행 후 generate(텍스트, voice="Eleanor") 호출, soundfile을 사용하여 24000Hz로 출력
  • 언어 변경: 해당 언어의 음색을 voice로 선택하거나, language="de"만 전달하여 해당 언어의 첫 번째 음색 사용; 영어 음색에 language=를 추가하면 독일어, 스페인어, 이탈리아어, 포르투갈어, 러시아어 구사 가능
  • weights="int4"로 int4 버전 사용(onnxruntime 1.20 이상 필요); backend="torch", device="cuda"로 GPU에서 float32 가중치 실행

리스크

  • 중국어 미지원; 카드에 음질 또는 오류율 평가가 없으며, 음성 클론 기능도 없음
  • 영어 외 언어는 대부분 Female 1, Male 1과 같은 번호가 매겨진 음색이며 스타일 설명이 없음. 본 항목은 실행되지 않음

열기

Hugging Face Trending

최신 AI 소식 보기