Mithi v1 Flash: индийский многоязычный синтез речи, работающий на CPU

Небольшая модель преобразования текста в речь от Oomni, поддерживающая 11 языков: хинди, английский, бенгальский, гуджарати, каннада, малаялам, маратхи, ория, панджаби, тамильский и телугу; два голоса: Satvik (мужской) и Charvi (женский). Модель содержит 99.1 млн параметров, весит 197 МБ, выводит монофонический звук с частотой дискретизации 24 кГц и построена на основе таких открытых компонентов, как Kokoro-82M, Maya2-native и indic-bert. По словам автора, на серверном процессоре (AMD EPYC 9554) генерация речи длительностью около 7 секунд занимает примерно 8 секунд в однопоточном режиме и около 3 секунд при использовании 4 потоков.

Оригинальное название: Oomni/mithi-v1-flash

Небольшая модель преобразования текста в речь от Oomni, поддерживающая 11 языков: хинди, английский, бенгальский, гуджарати, каннада, малаялам, маратхи, ория, панджаби, тамильский и телугу; два голоса: Satvik (мужской) и Charvi (женский). Модель содержит 99.1 млн параметров, весит 197 МБ, выводит монофонический звук с частотой дискретизации 24 кГц и построена на основе таких открытых компонентов, как Kokoro-82M, Maya2-native и indic-bert. По словам автора, на серверном процессоре (AMD EPYC 9554) генерация речи длительностью около 7 секунд занимает примерно 8 секунд в однопоточном режиме и около 3 секунд при использовании 4 потоков.

Почему это важно Размер менее двухсот мегабайт, не требуется видеокарта, веса распространяются под лицензией Apache с возможностью коммерческого использования, что дает легковесную отправную точку для приложений синтеза речи на индийских языках

Рост рейтинга 60 · Лайки 64 · Количество загрузок 436

Причины

  • Если есть видеокарта, используйте её, но модель также работает на CPU; по словам автора, она может запускаться на ноутбуках, Raspberry Pi и смартфонах
  • В комплекте идет нормализатор текста: числа, время и денежные суммы автоматически преобразуются в слова; длинные тексты автоматически разбиваются на предложения для чтения
  • Веса распространяются под лицензией Apache-2.0, разрешено коммерческое использование

Использование

  • hf download Oomni/mithi-v1-flash --local-dir mithi-v1-flash, затем перейдите в каталог, выполните pip install -r requirements.txt и загрузите английскую модель spaCy
  • python inference.py --lang hi --voice charvi --text "…" --out hindi.wav; для запуска на CPU добавьте параметры --device cpu --threads 4

Риски

  • По словам автора, публичные оценки еще не проводились: отсутствуют как автоматические метрики, так и результаты субъективной оценки качества звучания
  • Интонация и эмоциональная окраска речи довольно монотонны; скорость речи на каннада, малаялам, маратхи и ория слишком высока; редкие имена и заимствованные слова могут произноситься неверно
  • Поддержка китайского языка отсутствует; данная модель не была протестирована автором обзора, фактическое качество следует оценивать по карточке модели и примерам аудио

Открыть

Hugging Face Trending

Открыть последние новости ИИ