Kitten TTS 2 Mini: многоязычный синтез речи, работающий на CPU

Загружено KittenML 11 13: 82 млн параметров, 16 языков, 118 голосовых тембров, вывод 24 кГц. Предоставлены веса ONNX в форматах int8 (82.7 МБ) и int4 (47.5 МБ), оба работают на CPU без необходимости PyTorch; также доступны веса PyTorch в формате float32. Для английского языка доступно 11 ролевых тембров с описанием персонажа (историк, радиожурналист, спортивный комментатор и др.), те же имена тембров поддерживают немецкий, испанский, итальянский, португальский и русский языки; для остальных языков доступно по 2–8 нумерованных тембров. Модель, пакеты тембров и файлы G2P распространяются под лицензией Apache-2.0.

Оригинальное название: KittenML/kitten-tts-2-mini

Загружено KittenML 11 13: 82 млн параметров, 16 языков, 118 голосовых тембров, вывод 24 кГц. Предоставлены веса ONNX в форматах int8 (82.7 МБ) и int4 (47.5 МБ), оба работают на CPU без необходимости PyTorch; также доступны веса PyTorch в формате float32. Для английского языка доступно 11 ролевых тембров с описанием персонажа (историк, радиожурналист, спортивный комментатор и др.), те же имена тембров поддерживают немецкий, испанский, итальянский, португальский и русский языки; для остальных языков доступно по 2–8 нумерованных тембров. Модель, пакеты тембров и файлы G2P распространяются под лицензией Apache-2.0.

Почему это важно Версия int4 занимает менее пятидесяти МБ, работает на CPU, имеет лицензию Apache, разрешающую коммерческое использование, и подходит для офлайн-озвучивания текста и многоязычного дубляжа

Рост рейтинга 35 · Лайки 35 · Загрузки 3887

Причины

  • Поддержка английского, немецкого, испанского, итальянского, португальского, русского, хинди, датского, финского, французского, японского, корейского, нидерландского, шведского, суахили и турецкого языков — всего 16 языков
  • Установка одной командой pip install kittenml; загрузка только необходимых файлов в зависимости от выбранного бэкенда и формата весов
  • Тембры можно выбирать по имени или описанию, скорость речи регулируется параметром speed

Использование

  • Выполните pip install kittenml; затем KittenTTS("KittenML/kitten-tts-2-mini") и вызовите generate(текст, voice="Eleanor"), записывая результат через soundfile с частотой 24000 Гц
  • Смена языка: выберите тембр для нужного языка или передайте только language="de", чтобы использовать первый тембр этого языка; английские тембры с параметром language= могут говорить на немецком, испанском, итальянском, португальском и русском языках
  • weights="int4" использует версию int4 (требуется onnxruntime версии 1.20 или выше); backend="torch", device="cuda" позволяет запускать веса float32 на GPU

Риски

  • Нет поддержки китайского языка; отсутствуют оценки качества звука или уровня ошибок, а также функция клонирования голоса
  • Для неанглийских языков в основном доступны нумерованные тембры типа Female 1, Male 1 без описания стиля. Данный пункт не был протестирован

Открыть

Hugging Face Trending

Открыть последние новости ИИ