Titre original : Oomni/mithi-v1-flash
Petit modèle de synthèse vocale (TTS) publié par Oomni, prenant en charge 11 langues : hindi, anglais, bengali, gujarati, kannada, malayalam, marathi, odia, pendjabi, tamoul, télougou ; deux voix, Satvik (masculine) et Charvi (féminine). Le modèle compte 99.1 M de paramètres et pèse 197 Mo, avec une sortie mono en 24 kHz. Il est construit sur des composants open source tels que Kokoro-82M, Maya2-native et indic-bert. Selon l'auteur, sur un CPU de serveur (AMD EPYC 9554), une phrase d'environ 7 secondes est générée en environ 8 secondes en mono-thread, et en environ 3 secondes avec 4 threads.
Pourquoi c'est important Moins de 200 Mo, utilisable sans GPU, poids sous licence Apache permettant l'usage commercial, offrant un point de départ léger pour les applications vocales en langues indiennes
Score de progression 60 · J'aime 64 · Téléchargements 436
Raisons
- Utilisez un GPU si disponible, sinon le modèle fonctionne aussi sur CPU ; l'auteur affirme qu'il est exécutable sur ordinateurs portables, Raspberry Pi et smartphones
- Inclut un normaliseur de texte : les chiffres, heures et devises sont automatiquement convertis en mots ; les textes longs sont lus phrase par phrase
- Poids sous licence Apache-2.0, usage commercial autorisé
Utilisation
- hf download Oomni/mithi-v1-flash --local-dir mithi-v1-flash, puis dans le répertoire : pip install -r requirements.txt et téléchargez le modèle anglais de spaCy
- python inference.py --lang hi --voice charvi --text "…" --out hindi.wav ; pour le CPU, ajoutez --device cpu --threads 4
Risques
- Selon l'auteur, aucun benchmark public n'a encore été réalisé, ni métriques automatiques ni évaluations humaines de qualité audio
- L'intonation et l'expression sont plates ; le débit est trop rapide en kannada, malayalam, marathi et odia ; les noms rares et les mots d'emprunt peuvent être mal prononcés
- Le chinois n'est pas pris en charge ; cette entrée n'a pas été testée, la qualité réelle dépend de la fiche du modèle et des exemples audio