nano-edge-tts는 커뮤니티 작성자가 Kokoro-82M을 위해 만든 대체 디코더입니다. 발음, 리듬, 피치 및 28개의 음색은 Kokoro를 그대로 따르며, 오직 5330만 파라미터의 파형 디코더를 175만 파라미터의 '펄스 트레인 + 백색 잡음' 조화파-잡음 합성기로 교체하여 오디오 샘플링 속도에서 신경망을 실행하지 않습니다. 작성자는 Apple M4 단일 스레드 CPU에서 테스트한 결과, 디코더 속도는 약 33배, 전체 파이프라인은 약 11배 빨라졌으며, 피크 메모리는 1.4–1.7 GB에서 0.75 GB로 감소했고, Whisper 단어 오류율은 4.69%(Kokoro는 4.63%)였습니다. load() 함수는 디코더가 교체된 Kokoro 모델을 직접 반환하므로, Kokoro를 사용할 수 있는 모든 곳에서 이를 대체하여 사용할 수 있습니다.
왜 중요한가 텍스트 처리 부분과 모든 음색은 변하지 않으며, 가장 시간이 많이 소요되는 파형 디코더만 교체됩니다. 기존 Kokoro 코드는 거의 수정할 필요가 없으므로 엣지 장치에 통합하기에 적합합니다.
Hugging Face 좋아요 12 · Hugging Face 상승 점수 12 · Hugging Face 다운로드 82
라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: 약 1 GB 추정
이유
- Apache-2.0, Kokoro-82M과 동일; 논문, 240문장 평가 원본 데이터 및 6조 동일 문장 비교 오디오 포함
- 전체 디코더는 하나의 Python 파일로 구성되며, PyTorch에만 의존합니다.
사용법
- pip install kokoro==0.9.4 safetensors soundfile, hf download drmhse/nano-edge-tts --local-dir nano-edge-tts 실행 후 해당 디렉토리에서 from nano_edge_tts import load를 사용하여 불러오고, KPipeline(lang_code='a', model=load())로 평소처럼 생성한 뒤 24000 샘플링 속도로 저장합니다.
리스크
- Kokoro의 28개 미국식 및 영국식 영어 음색에서만 학습 및 평가되었으며, 다른 언어는 실행 가능하지만 테스트되지 않았습니다. 성능은 Kokoro와 동등한 수준이 최대이며, 중국어는 지원되지 않습니다.
- 일부 유성음에서 약간의 기계음이 발생할 수 있습니다; 블라인드 청취는 작성자 1명만 수행했으며, 속도는 노트북 CPU에서 측정되었고 모바일 기기에서는 테스트되지 않았습니다.