nano-edge-tts est un décodeur de remplacement créé par un auteur de la communauté pour Kokoro-82M : la prononciation, le rythme, la hauteur tonale et les 28 timbres restent ceux de Kokoro, seul le décodeur de forme d'onde de 5330 mille paramètres est remplacé par un synthétiseur harmonique-additif-bruité de 175 mille paramètres utilisant des « trains d'impulsions + bruit blanc », sans exécution de réseau de neurones à la fréquence d'échantillonnage audio. L'auteur a mesuré, sur un CPU mono-thread Apple M4, une accélération du décodeur d'environ 33 fois, une accélération de l'ensemble du flux d'environ 11 fois, une réduction de la mémoire de pointe de 1.4–1.7 Go à 0.75 Go, et un taux d'erreur de mots Whisper de 4.69% (Kokoro étant à 4.63%). load() renvoie directement le modèle Kokoro avec le décodeur remplacé ; partout où Kokoro est utilisable, il peut être substitué.
Pourquoi c'est important Le texte et tous les timbres restent inchangés, seul le décodeur de forme d'onde, le plus coûteux en temps, est remplacé. Le code Kokoro existant nécessite presque aucune modification, ce qui convient à une intégration dans des appareils en périphérie.
J'aime avec le visage qui se cache 12 · Points de montée avec le visage qui se cache 12 · Téléchargements avec le visage qui se cache 82
Licence : usage commercial autorisé · ComfyUI : non disponible · VRAM : ≈1 Go (estimation)
Raisons
- Apache-2.0, identique à Kokoro-82M ; inclut le papier, les données brutes de l'évaluation sur 240 phrases et 6 paires d'audio comparatif sur la même phrase
- Le décodeur entier tient dans un seul fichier Python, ne dépendant que de PyTorch
Utilisation
- pip install kokoro==0.9.4 safetensors soundfile, hf download drmhse/nano-edge-tts --local-dir nano-edge-tts, puis dans ce répertoire from nano_edge_tts import load, générer normalement avec KPipeline(lang_code='a', model=load()), et sauvegarder à la fréquence d'échantillonnage de 24000
Risques
- Entraîné et évalué uniquement sur les 28 timbres de Kokoro en anglais américain et britannique ; les autres langues fonctionnent mais n'ont pas été testées ; la qualité est au mieux égale à celle de Kokoro, le chinois n'est pas pris en charge
- Certains sons voisés présentent un léger son robotique ; l'écoute à l'aveugle n'a été réalisée que par l'auteur seul, la vitesse a été mesurée sur le CPU d'un ordinateur portable, non testée sur smartphone