kale-tts-1-nano

kale-tts-1-nano ne compte que 750 000 paramètres, avec un fichier int8 de 14.8 Mo pour le CPU et un fichier fp32 de 30.6 Mo pour WebGPU dans le navigateur. Les 10 voix sont conçues par Maya-1 à partir d'une description textuelle unique et ne correspondent pas à des personnes réelles ; on a d'abord enregistré 204.7 heures de voix d'entraînement avec Maya-1, puis distillé la partie planification prosodique depuis kale-tts-1-base, lui-même affiné à partir de Kokoro-82M. La partie génération sonore est un petit générateur harmonique additionné de bruit, sans diffusion ni flux matching. L'auteur indique une vitesse de 44 fois le temps réel sur le CPU d'une Samsung Galaxy Tab S10 Lite, avec la première phrase prononcée en 0.09 secondes ; les mots mal reconnus par l'ASR ne dépassent que de 1.6 points de pourcentage ceux du son original de Maya-1.

kale-tts-1-nano ne compte que 750 000 paramètres, avec un fichier int8 de 14.8 Mo pour le CPU et un fichier fp32 de 30.6 Mo pour WebGPU dans le navigateur. Les 10 voix sont conçues par Maya-1 à partir d'une description textuelle unique et ne correspondent pas à des personnes réelles ; on a d'abord enregistré 204.7 heures de voix d'entraînement avec Maya-1, puis distillé la partie planification prosodique depuis kale-tts-1-base, lui-même affiné à partir de Kokoro-82M. La partie génération sonore est un petit générateur harmonique additionné de bruit, sans diffusion ni flux matching. L'auteur indique une vitesse de 44 fois le temps réel sur le CPU d'une Samsung Galaxy Tab S10 Lite, avec la première phrase prononcée en 0.09 secondes ; les mots mal reconnus par l'ASR ne dépassent que de 1.6 points de pourcentage ceux du son original de Maya-1.

Pourquoi c'est important Entraîné pour fournir une voix entièrement locale sur des appareils destinés aux enfants, avec un seul fichier et une seule passe avant pour produire une phrase ; les données vocales des 10 voix utilisées pour l'entraînement sont également publiées sous licence CC BY 4.0.

J'aime Hugging Face 14 · Score de tendance Hugging Face 14 · Téléchargements Hugging Face 256

Licence : usage commercial autorisé · ComfyUI : non disponible · VRAM : non indiquée

Raisons

  • Une démo en ligne est disponible sur Hugging Face, permettant d'écouter directement toutes les voix ; le jeu de données d'entraînement kale-tts-1-data est public
  • Licence Apache-2.0, usage commercial autorisé ; pour une meilleure qualité audio, vous pouvez opter pour kale-tts-1-tiny, légèrement plus grand dans la même série

Utilisation

  • Écoutez d'abord les voix dans l'espace Hugging Face KaleComputer/kale-tts-1, puis téléchargez kale-tts-1-nano.onnx pour l'exécuter localement avec ONNX Runtime (dans le navigateur, utilisez le fichier fp32 via WebGPU)

Risques

  • Ne prend en charge que l'anglais ; la tonalité reste différente de celle du son original de Maya-1 (l'écart mélodique indiqué par l'auteur est de 7.46 points de pourcentage)
  • La carte modèle commence encore par une note « brouillon, non publié », le contenu pourrait donc changer ; les chiffres de performance sont tous auto-mesurés par l'auteur

Ouvrir

抱脸 text-to-speech 上升榜

Parcourir les dernières actualités IA