Inflect Mini v3: компактная модель синтеза английской речи, работающая на CPU

Английская модель синтеза речи v3, загруженная Owen Song 11 10, согласно карточке модели имеет ядро с 34.31 млн параметров (веса FP32 занимают 138.4 МБ), обеспечивает нативный вывод с частотой 24 кГц и опциональный энхансер с 2.85 млн параметров для вывода в 48 кГц. Встроены шесть голосов: cassidy, mark, hope, james, sophia, jasper; поддерживаются 8 тегов звуковых событий, таких как [laugh], [sigh], [gasp]; Voice Tuner позволяет создать переиспользуемый профиль голоса на основе авторизованных записей длительностью от 5 до 15 секунд. Репозиторий представляет собой полный пакет для инференса под лицензией Apache-2.0.

Оригинальное название: owensong/Inflect-Mini-v3

Английская модель синтеза речи v3, загруженная Owen Song 11 10, согласно карточке модели имеет ядро с 34.31 млн параметров (веса FP32 занимают 138.4 МБ), обеспечивает нативный вывод с частотой 24 кГц и опциональный энхансер с 2.85 млн параметров для вывода в 48 кГц. Встроены шесть голосов: cassidy, mark, hope, james, sophia, jasper; поддерживаются [laugh], [sigh], [gasp] и другие 8 тегов звуковых событий; Voice Tuner позволяет создать переиспользуемый профиль голоса на основе авторизованных записей длительностью от 5 до 15 секунд. Репозиторий представляет собой полный пакет для инференса под лицензией Apache-2.0.

Почему это важно Небольшой размер, лицензия Apache допускает коммерческое использование, локальная генерация возможна даже на CPU, что подходит для закадрового голоса, инструкций и офлайн-чтения вслух

Рост рейтинга 42 · Лайки 42 · Загрузки 590

Причины

  • Авторские тесты: средняя частота ошибок слов (WER) для шести голосов составляет 0.739% (по 1,688 текстовых фрагментов на каждый голос), UTMOS22Strong 4.479; автор отмечает, что это не официальная подача в лидерборд, и цифры нельзя напрямую сравнивать с показателями Kokoro и других моделей из рейтингов
  • По словам автора, на RTX 5090 с оптимизированным CUDA-путем скорость составляет примерно 162× реального времени, а на Ryzen 9 3900X с использованием 2 потоков — примерно 1.81× реального времени
  • В той же серии есть Micro v3 размером 11.79 млн параметров и Atom v3 размером 157.19 тыс. параметров; на GitHub также доступен инструментарий для обучения, позволяющий адаптировать Mini к другим языкам

Использование

  • Python 3.12 в новом окружении: выполните hf download owensong/Inflect-Mini-v3 для загрузки всего репозитория, запустите verify_release.py для проверки целостности, установите зависимости из core/requirements-cpu.txt, затем выполните python run.py speech --voice cassidy --text "..." --output out.wav
  • Звуковые события: сначала установите зависимости из extras/events, затем выполните python run.py events --voice cassidy --text "... [laugh] ..." (работает только на CPU при частоте 24 кГц); для получения звука в 48 кГц используйте флаг --profile enhanced
  • GPU: создайте отдельное окружение, установите зависимости из core/requirements-cuda.txt и добавьте флаги --device cuda --runtime cuda-source; онлайн-прослушивание доступно в Space owensong/Inflect-v3

Риски

  • Поддерживается только английский язык; теги событий не изменяют эмоциональную окраску предыдущих и последующих фраз, также отсутствует управление стилями, такими как шепот или гнев
  • Voice Tuner поддерживает регистрацию голосов только на Linux с использованием CPU; качество сходства зависит от записи, автор не гарантирует точное воспроизведение оригинального голоса; можно использовать только голоса с соответствующими правами использования
  • Показатели WER и оценки качества звука получены в ходе авторских тестов; оценочные корпуса использовались при разработке; энхансер может создавать легкий гул на некоторых материалах. Данный пункт не был проверен запуском

Открыть

Hugging Face Trending

Открыть последние новости ИИ