nano-edge-tts

nano-edge-tts — это альтернативный декодер, созданный участниками сообщества для модели Kokoro-82M: произношение, ритм, высота тона и 28 голосовых тембров полностью заимствованы из Kokoro, но декодер формы волны с 5330 тыс. параметров заменен на гармонический синтезатор с шумом типа «импульсная последовательность + белый шум» с 175 тыс. параметров, который не использует нейронные сети на этапе частоты дискретизации аудио. Автор тестировал на одноядерном CPU Apple M4 и получил ускорение декодера примерно в 33 раз, а всего конвейера — примерно в 11 раз; пиковое потребление памяти снизилось с 1.4–1.7 ГБ до 0.75 ГБ, а показатель WER (word error rate) по Whisper составил 4.69% (у Kokoro — 4.63%). Функция load() возвращает модель Kokoro с уже замененным декодером, поэтому ее можно использовать везде, где применяется Kokoro.

nano-edge-tts — это альтернативный декодер, созданный участниками сообщества для модели Kokoro-82M: произношение, ритм, высота тона и 28 голосовых тембров полностью заимствованы из Kokoro, но декодер формы волны с 5330 тыс. параметров заменен на гармонический синтезатор с шумом типа «импульсная последовательность + белый шум» с 175 тыс. параметров, который не использует нейронные сети на этапе частоты дискретизации аудио. Автор тестировал на одноядерном CPU Apple M4 и получил ускорение декодера примерно в 33 раз, а всего конвейера — примерно в 11 раз; пиковое потребление памяти снизилось с 1.4–1.7 ГБ до 0.75 ГБ, а показатель WER (word error rate) по Whisper составил 4.69% (у Kokoro — 4.63%). Функция load() возвращает модель Kokoro с уже замененным декодером, поэтому ее можно использовать везде, где применяется Kokoro.

Почему это важно Текстовая часть и все тембры остаются без изменений, заменяется только самый ресурсоемкий декодер формы волны. Существующий код для Kokoro практически не требует изменений, что делает решение подходящим для встраивания в периферийные устройства.

Реакция «Обнимаю лицо» (hugging face) 12 · Рост рейтинга «Обнимаю лицо» 12 · Загрузки «Обнимаю лицо» 82

Лицензия: разрешено коммерческое использование · ComfyUI: пока нет · Видеопамять: ≈1 ГБ (оценка)

Причины

  • Лицензия Apache-2.0, такая же, как у Kokoro-82M; приложены научная статья, сырые данные оценки на 240 предложениях и 6 групп сравнительных аудиозаписей одних и тех же фраз
  • Весь декодер представлен одним файлом на Python и зависит только от PyTorch

Использование

  • Выполните pip install kokoro==0.9.4 safetensors soundfile, затем hf download drmhse/nano-edge-tts --local-dir nano-edge-tts. В этой директории импортируйте функцию через from nano_edge_tts import load и генерируйте речь обычным способом с помощью KPipeline(lang_code='a', model=load()), сохраняя результат с частотой дискретизации 24000

Риски

  • Модель обучалась и тестировалась только на 28 американских и британских английских тембрах Kokoro; на других языках она может работать, но не тестировалась. Качество не превышает уровень Kokoro, поддержка китайского языка отсутствует
  • В некоторых звонких звуках присутствует легкий «машинный» оттенок; слепое прослушивание проводил только автор, скорость измерялась на процессоре ноутбука, тестирование на смартфонах не проводилось

Открыть

抱脸 text-to-speech 上升榜

Открыть последние новости ИИ