Оригинальное название: KittenML/kitten-tts-2-mini
Загружено KittenML 11 13: 82 млн параметров, 16 языков, 118 голосовых тембров, вывод 24 кГц. Предоставлены веса ONNX в форматах int8 (82.7 МБ) и int4 (47.5 МБ), оба работают на CPU без необходимости PyTorch; также доступны веса PyTorch в формате float32. Для английского языка доступно 11 ролевых тембров с описанием персонажа (историк, радиожурналист, спортивный комментатор и др.), те же имена тембров поддерживают немецкий, испанский, итальянский, португальский и русский языки; для остальных языков доступно по 2–8 нумерованных тембров. Модель, пакеты тембров и файлы G2P распространяются под лицензией Apache-2.0.
Почему это важно Версия int4 занимает менее пятидесяти МБ, работает на CPU, имеет лицензию Apache, разрешающую коммерческое использование, и подходит для офлайн-озвучивания текста и многоязычного дубляжа
Рост рейтинга 35 · Лайки 35 · Загрузки 3887
Причины
- Поддержка английского, немецкого, испанского, итальянского, португальского, русского, хинди, датского, финского, французского, японского, корейского, нидерландского, шведского, суахили и турецкого языков — всего 16 языков
- Установка одной командой pip install kittenml; загрузка только необходимых файлов в зависимости от выбранного бэкенда и формата весов
- Тембры можно выбирать по имени или описанию, скорость речи регулируется параметром speed
Использование
- Выполните pip install kittenml; затем KittenTTS("KittenML/kitten-tts-2-mini") и вызовите generate(текст, voice="Eleanor"), записывая результат через soundfile с частотой 24000 Гц
- Смена языка: выберите тембр для нужного языка или передайте только language="de", чтобы использовать первый тембр этого языка; английские тембры с параметром language= могут говорить на немецком, испанском, итальянском, португальском и русском языках
- weights="int4" использует версию int4 (требуется onnxruntime версии 1.20 или выше); backend="torch", device="cuda" позволяет запускать веса float32 на GPU
Риски
- Нет поддержки китайского языка; отсутствуют оценки качества звука или уровня ошибок, а также функция клонирования голоса
- Для неанглийских языков в основном доступны нумерованные тембры типа Female 1, Male 1 без описания стиля. Данный пункт не был протестирован