Оригинальное название: owensong/Inflect-Mini-v3
Английская модель синтеза речи v3, загруженная Owen Song 11 10, согласно карточке модели имеет ядро с 34.31 млн параметров (веса FP32 занимают 138.4 МБ), обеспечивает нативный вывод с частотой 24 кГц и опциональный энхансер с 2.85 млн параметров для вывода в 48 кГц. Встроены шесть голосов: cassidy, mark, hope, james, sophia, jasper; поддерживаются [laugh], [sigh], [gasp] и другие 8 тегов звуковых событий; Voice Tuner позволяет создать переиспользуемый профиль голоса на основе авторизованных записей длительностью от 5 до 15 секунд. Репозиторий представляет собой полный пакет для инференса под лицензией Apache-2.0.
Почему это важно Небольшой размер, лицензия Apache допускает коммерческое использование, локальная генерация возможна даже на CPU, что подходит для закадрового голоса, инструкций и офлайн-чтения вслух
Рост рейтинга 42 · Лайки 42 · Загрузки 590
Причины
- Авторские тесты: средняя частота ошибок слов (WER) для шести голосов составляет 0.739% (по 1,688 текстовых фрагментов на каждый голос), UTMOS22Strong 4.479; автор отмечает, что это не официальная подача в лидерборд, и цифры нельзя напрямую сравнивать с показателями Kokoro и других моделей из рейтингов
- По словам автора, на RTX 5090 с оптимизированным CUDA-путем скорость составляет примерно 162× реального времени, а на Ryzen 9 3900X с использованием 2 потоков — примерно 1.81× реального времени
- В той же серии есть Micro v3 размером 11.79 млн параметров и Atom v3 размером 157.19 тыс. параметров; на GitHub также доступен инструментарий для обучения, позволяющий адаптировать Mini к другим языкам
Использование
- Python 3.12 в новом окружении: выполните hf download owensong/Inflect-Mini-v3 для загрузки всего репозитория, запустите verify_release.py для проверки целостности, установите зависимости из core/requirements-cpu.txt, затем выполните python run.py speech --voice cassidy --text "..." --output out.wav
- Звуковые события: сначала установите зависимости из extras/events, затем выполните python run.py events --voice cassidy --text "... [laugh] ..." (работает только на CPU при частоте 24 кГц); для получения звука в 48 кГц используйте флаг --profile enhanced
- GPU: создайте отдельное окружение, установите зависимости из core/requirements-cuda.txt и добавьте флаги --device cuda --runtime cuda-source; онлайн-прослушивание доступно в Space owensong/Inflect-v3
Риски
- Поддерживается только английский язык; теги событий не изменяют эмоциональную окраску предыдущих и последующих фраз, также отсутствует управление стилями, такими как шепот или гнев
- Voice Tuner поддерживает регистрацию голосов только на Linux с использованием CPU; качество сходства зависит от записи, автор не гарантирует точное воспроизведение оригинального голоса; можно использовать только голоса с соответствующими правами использования
- Показатели WER и оценки качества звука получены в ходе авторских тестов; оценочные корпуса использовались при разработке; энхансер может создавать легкий гул на некоторых материалах. Данный пункт не был проверен запуском