Mach Boom — это версия английской модели синтеза речи Phonon 31m от Gradium, сжатая до 3.5 бит на вес, с размером файла модели 18.2 МБ. Автор протестировал её на виртуальной машине Xeon с 4 ядрами и получил примерно 8.3–8.4-кратное ускорение реального времени на одном ядре, пиковое потребление памяти 93 МБ и задержку первого сегмента аудио при потоковой передаче 61–78 миллисекунд; на наборе из 250 сложных английских предложений, насыщенных числами, датами, суммами и идентификаторами, автор сообщает о показателе WER (word error rate) 5.18%, что ниже, чем у оригинальной версии fp32 с показателем 8.61%. Модель поставляется с 4 голосами, также можно использовать файлы голосов из репозитория phonon-voices.
Почему это важно Маленький размер и отсутствие необходимости в видеокарте делают модель подходящей для встраивания в локальные приложения или устройства на периферии для озвучивания сложных текстов, содержащих даты, суммы и идентификаторы.
🤗 лайков 3 · 🤗 рост рейтинга 3 · 🤗 загрузок 0
Лицензия: разрешено коммерческое использование · ComfyUI: пока нет · Память GPU: ≈1 ГБ (оценка)
Причины
- Лицензия Apache-2.0 разрешает коммерческое использование, а методология тестирования, модель для транскрипции и объекты сравнения описаны в карточке модели
Использование
- После выполнения команды hf download SyzygyResearch/Mach-Boom установите зависимости через pip install numpy tokenizers и запустите python tts.py "текст" -o out.wav --voice Zoey; при первом запуске ядра будут скомпилированы для процессора вашего устройства
Риски
- Поддерживаются только Linux x86-64 и английский язык; требуется компилятор gcc или clang
- Оценка выполнена автором, а набор сложных предложений взят из собственного датасета Gradium