ZONOS3-Mini : clonage vocal multilingue en temps réel sur mobile et navigateur

Le modèle de synthèse vocale open source de Zyphra, avec un total de 8 milliards de paramètres, une architecture MoE activant environ 1 milliards de paramètres par token, prenant en charge 43 langues (dont le mandarin, le japonais et le coréen). Il permet de cloner une voix à partir d'un extrait audio de référence (jusqu'à 60 secondes), ou d'ajuster le timbre d'un personnage via un vecteur de locuteur, avec des contrôles par paliers pour le volume, la bande passante et la vitesse ; selon l'éditeur, il est également possible de contrôler l'émotion et le rythme au niveau du mot. La sortie audio est en 44.1 kHz, avec une génération maximale de 10 minutes par requête ; selon l'éditeur, sur un seul GPU H100, la latence médiane du premier paquet audio est de 80 millisecondes avec 8 flux concurrents, et le débit maximal atteint 457 secondes d'audio générées par seconde.

Titre original : Zyphra/ZONOS3-Mini

Le modèle de synthèse vocale open source de Zyphra, avec un total de 8 milliards de paramètres, une architecture MoE activant environ 1 milliards de paramètres par token, prenant en charge 43 langues (dont le mandarin, le japonais et le coréen). Il permet de cloner une voix à partir d'un extrait audio de référence (jusqu'à 60 secondes), ou d'ajuster le timbre d'un personnage via un vecteur de locuteur, avec des contrôles par paliers pour le volume, la bande passante et la vitesse ; selon l'éditeur, il est également possible de contrôler l'émotion et le rythme au niveau du mot. La sortie audio est en 44.1 kHz, avec une génération maximale de 10 minutes par requête ; selon l'éditeur, sur un seul GPU H100, la latence médiane du premier paquet audio est de 80 millisecondes avec 8 flux concurrents, et le débit maximal atteint 457 secondes d'audio générées par seconde.

Pourquoi c'est important Permet de cloner des voix dans le navigateur en utilisant le GPU local, tout en contrôlant l'émotion et la vitesse mot par mot ; les poids sont sous licence Apache et utilisables commercialement

Score de progression 83 · J'aime 84 · Téléchargements 856

Raisons

  • Taille réduite, capable selon l'éditeur de fonctionner en temps réel sur mobile, ordinateur portable et navigateur ; la version navigateur utilise WebGPU, sans installation ni serveur requis
  • Plusieurs modes d'exécution : SGLang-Omni fournit une interface compatible OpenAI /v1/audio/speech avec sortie en streaming, tandis que l'éditeur propose également des runtimes CUDA, MLX (puces Apple), C++/ggml et WebGPU, accompagnés de 27 voix par défaut
  • Poids sous licence Apache-2.0, utilisables commercialement

Utilisation

  • Ouvrez directement Zonos Voice Studio ou la page Lite dans le navigateur pour tester (nécessite un navigateur compatible WebGPU ; le modèle est téléchargé lors de la première visite)
  • Côté serveur : après installation de SGLang-Omni, lancez sgl-omni serve --model-path Zyphra/ZONOS3-Mini ; ajoutez des références dans la requête pour spécifier l'audio de référence afin de cloner la voix, et "stream": true pour une sortie en streaming

Risques

  • Les comparaisons de qualité et de vitesse proviennent de tests effectués par l'éditeur sur son propre benchmark ZTTS2-Eval ; l'évaluation complète est disponible sur le blog officiel
  • Le clonage vocal peut être détourné à des fins abusives ; il convient d'obtenir une autorisation avant d'utiliser la voix de quelqu'un d'autre
  • Cette entrée n'a pas été testée par nos soins ; les résultats dépendent de la fiche du modèle

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA