tiny-voca : un petit modèle de synthèse vocale anglaise fonctionnant uniquement sur CPU

Modèle TTS anglais téléchargé par n4ze3m le 11 14, l'auteur indique un total de 4,537,291 paramètres, y compris la partie génération de forme d'onde, une sortie mono de 24 kHz, avec deux voix en anglais américain : F2 (voix féminine) et M2 (voix masculine). Il utilise un synthétiseur source-filtre à la place d'un vocoder neuronal, entraîné sur environ 17.6 heures de données, entièrement synthétisées par Qwen3-TTS, sans enregistrements humains ; il fournit des poids PyTorch et une version ONNX exécutable dans onnxruntime-web.

Titre original : n4ze3m/tiny-voca

Modèle TTS anglais téléchargé par n4ze3m le 11 14, l'auteur indique un total de 4,537,291 paramètres, y compris la partie génération de forme d'onde, une sortie mono de 24 kHz, avec deux voix en anglais américain : F2 (voix féminine) et M2 (voix masculine). Il utilise un synthétiseur source-filtre à la place d'un vocoder neuronal, entraîné sur environ 17.6 heures de données, entièrement synthétisées par Qwen3-TTS, sans enregistrements humains ; il fournit des poids PyTorch et une version ONNX exécutable dans onnxruntime-web.

Pourquoi c'est important Le modèle entier ne compte qu'environ quatre à cinq millions de paramètres et ne nécessite pas de GPU, ce qui le rend adapté pour ajouter une lecture à voix haute en anglais aux applications hors ligne, aux sites web ou aux appareils embarqués

Score de progression 77 · J'aime 77 · Téléchargements 40

Raisons

  • L'auteur indique une vitesse d'environ 70 fois le temps réel sur 4 threads CPU, et la fiche du modèle précise qu'il peut s'exécuter sur mobile ou dans un navigateur
  • Le jeu de données, le code d'entraînement et l'outil de conversion phonétique dizione sont publics ; l'auteur indique que l'ensemble du projet a coûté 9.56 dollars sur une seule RTX 4090 louée
  • La fiche du modèle fournit 4 exemples audio (un jeu pour chaque voix), un tableau complet des paramètres et une description des limites

Utilisation

  • pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca,下载模型后设 DIZIONE_DATA=tiny-voca/phonemizer, puis python -m tiny_voca.infer --checkpoint tiny-voca/tiny-voca.pt --voice F2 --text "…" --output hello.wav
  • Options ajustables : --speed (vitesse de parole), --pitch-shift (0.058 environ un demi-ton), --pitch-range ; les textes longs sont découpés par phrase puis concaténés
  • La version ONNX accepte au maximum 512 phonèmes et 32 secondes par requête, nécessitant une conversion phonétique préalable via dizione ; la sortie dépasse parfois 1.0, il faut donc la mettre à l'échelle selon l'exemple de la fiche du modèle avant de sauvegarder un audio en 16 bits

Risques

  • Ne prend en charge que l'anglais et deux voix fixes, sans clonage de voix ni streaming ; la prononciation d'une même phrase est identique à chaque fois, et les noms étrangers ainsi que les orthographes rares sont souvent mal lus
  • L'auteur indique que la voix est claire mais légèrement synthétique, et que F2 semble plus jeune que prévu ; les données d'entraînement étant elles-mêmes des voix synthétiques, le naturel ne dépassera pas celui de Qwen3-TTS qui les a générées
  • L'évaluation ne porte que sur un taux d'erreur de reconnaissance Whisper de 8–16 phrases, l'auteur précisant qu'il s'agit d'une auto-vérification sans test d'écoute formel ; cette entrée n'a pas été exécutée ni écoutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA