kale-tts-1-nano는 파라미터가 750만 개뿐이며, CPU용 int8 파일은 14.8 MB, 브라우저 WebGPU용 fp32 파일은 30.6 MB입니다. 10가지 음색은 Maya-1이 한 문장의 텍스트 설명에 따라 설계한 것으로 실제 인물과 대응하지 않습니다. 먼저 Maya-1로 204.7시간의 학습 음성을 녹음한 후, Kokoro-82M을 기반으로 미세 조정된 kale-tts-1-base에서 운율 계획 부분을 증류(distillation)했습니다. 발성 부분은 소형 하모닉 노이즈 생성기를 사용하며, 확산 모델이나 흐름 매칭은 사용하지 않습니다. 저자는 Samsung Galaxy Tab S10 Lite의 CPU에서 실시간의 44배 속도로, 첫 문장은 0.09초 만에 음성 출력된다고 주장하며, 인식기가 확신하지 못하는 단어의 비율은 Maya-1 원본 음성보다 1.6퍼센트 포인트 높다고 합니다.
왜 중요한가 아동용 디바이스를 위한 완전한 로컬 음성 생성을 위해 학습되었으며, 단일 파일로 한 번의 순방향 추론으로 한 문장을 생성합니다. 학습에 사용된 10가지 음성의 데이터셋도 CC BY 4.0 라이선스로 공개되어 있습니다.
Hugging Face 좋아요 14 · Hugging Face 상승 점수 14 · Hugging Face 다운로드 256
라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: VRAM 정보 미표기
이유
- Hugging Face에 온라인 데모가 있어 모든 음색을 직접试听할 수 있으며, 학습 데이터셋인 kale-tts-1-data가 공개되어 있습니다
- Apache-2.0 라이선스로 상업적 사용이 가능하며, 더 나은 음질을 원한다면 같은 시리즈의 약간 더 큰 모델인 kale-tts-1-tiny로 교체할 수 있습니다
사용법
- 먼저 Hugging Face Space의 KaleComputer/kale-tts-1에서试听한 후, kale-tts-1-nano.onnx를 다운로드하여 ONNX Runtime으로 로컬에서 실행합니다(브라우저에서는 fp32 파일을 사용하여 WebGPU로 실행)
리스크
- 영어만 지원되며, 음조는 Maya-1 원본 음성과의 차이가 여전히 존재합니다(저자가 제시한 멜로디 차이는 7.46퍼센트 포인트입니다)
- 모델 카드 시작 부분에 '초안, 미공개' 주석이 남아 있어 내용이 변경될 수 있으며, 성능 수치는 모두 저자의 자체 테스트 결과입니다