kale-tts-1-nano имеет всего 750 тысяч параметров, файл int8 для CPU занимает 14.8 МБ, а файл fp32 для WebGPU в браузере — 30.6 МБ. 10 голосовых тембров были разработаны Maya-1 на основе текстового описания и не соответствуют реальным людям; сначала с помощью Maya-1 было записано 204.7 часов обучающей речи, затем из kale-tts-1-base, дообученного на базе Kokoro-82M, была дистиллирована часть, отвечающая за планирование просодии, а генерация звука выполняется с помощью небольшого генератора гармоник и шума без использования диффузии или flow matching. По словам автора, на CPU планшета Samsung Galaxy Tab S10 Lite скорость составляет 44-кратную от реального времени, первая фраза озвучивается за 0.09 секунд, а количество слов, вызывающих неуверенность у распознавателя, превышает показатели оригинального голоса Maya-1 всего на 1.6 процентных пунктов.
Почему это важно Обучение проводилось для создания полностью локального голосового синтеза на детских устройствах: один файл, один прямой проход для генерации фразы; данные обучающего набора из 10 голосовых тембров также опубликованы под лицензией CC BY 4.0.
Лайки «обнимашки» 14 · Рост рейтинга «обнимашек» 14 · Загрузки «обнимашек» 256
Лицензия: разрешено коммерческое использование · ComfyUI: отсутствует · Видеопамять: не указана
Причины
- На Hugging Face есть онлайн-демо, где можно прослушать все тембры; обучающий набор данных kale-tts-1-data открыт
- Лицензия Apache-2.0 разрешает коммерческое использование; для более высокого качества звука можно использовать чуть более крупную модель из той же серии — kale-tts-1-tiny
Использование
- Сначала прослушайте демо в Space KaleComputer/kale-tts-1 на Hugging Face, затем скачайте kale-tts-1-nano.onnx и запустите его локально через ONNX Runtime (в браузере используйте файл fp32 с поддержкой WebGPU)
Риски
- Поддерживается только английский язык; интонация все еще отличается от оригинального голоса Maya-1 (автор указывает разницу в мелодии в 7.46 процентных пунктов)
- В начале карточки модели все еще есть примечание «черновик, не опубликовано», содержание может измениться; все показатели производительности получены автором самостоятельно