Оригинальное название: Oomni/mithi-v1-flash
Небольшая модель преобразования текста в речь от Oomni, поддерживающая 11 языков: хинди, английский, бенгальский, гуджарати, каннада, малаялам, маратхи, ория, панджаби, тамильский и телугу; два голоса: Satvik (мужской) и Charvi (женский). Модель содержит 99.1 млн параметров, весит 197 МБ, выводит монофонический звук с частотой дискретизации 24 кГц и построена на основе таких открытых компонентов, как Kokoro-82M, Maya2-native и indic-bert. По словам автора, на серверном процессоре (AMD EPYC 9554) генерация речи длительностью около 7 секунд занимает примерно 8 секунд в однопоточном режиме и около 3 секунд при использовании 4 потоков.
Почему это важно Размер менее двухсот мегабайт, не требуется видеокарта, веса распространяются под лицензией Apache с возможностью коммерческого использования, что дает легковесную отправную точку для приложений синтеза речи на индийских языках
Рост рейтинга 60 · Лайки 64 · Количество загрузок 436
Причины
- Если есть видеокарта, используйте её, но модель также работает на CPU; по словам автора, она может запускаться на ноутбуках, Raspberry Pi и смартфонах
- В комплекте идет нормализатор текста: числа, время и денежные суммы автоматически преобразуются в слова; длинные тексты автоматически разбиваются на предложения для чтения
- Веса распространяются под лицензией Apache-2.0, разрешено коммерческое использование
Использование
- hf download Oomni/mithi-v1-flash --local-dir mithi-v1-flash, затем перейдите в каталог, выполните pip install -r requirements.txt и загрузите английскую модель spaCy
- python inference.py --lang hi --voice charvi --text "…" --out hindi.wav; для запуска на CPU добавьте параметры --device cpu --threads 4
Риски
- По словам автора, публичные оценки еще не проводились: отсутствуют как автоматические метрики, так и результаты субъективной оценки качества звучания
- Интонация и эмоциональная окраска речи довольно монотонны; скорость речи на каннада, малаялам, маратхи и ория слишком высока; редкие имена и заимствованные слова могут произноситься неверно
- Поддержка китайского языка отсутствует; данная модель не была протестирована автором обзора, фактическое качество следует оценивать по карточке модели и примерам аудио