Audio8-TTS-Realistic-Air : synthèse vocale multilingue réaliste à petits paramètres

Modèle de synthèse vocale entraîné en continu sur la base d'Edge0 Audio8-TTS-Preview-0.6b, avec un modèle principal de 6.01 milliards de paramètres (hors codec), reprenant l'architecture DualAR inspirée de Fish Audio S2 Pro : un transformateur autoregressif lent prédit un token sémantique par frame, tandis qu'un transformateur autoregressif rapide prédit les 10 codebooks de cette frame. Le nombre de langues prises en charge passe de 11 dans la version préliminaire à 23, avec l'ajout de l'arabe, du finnois, de l'hindi, de l'indonésien, du malais, du norvégien, du portugais, du russe, du suédois, du thaï, du turc et du vietnamien. Il est possible d'effectuer un clonage de timbre en zero-shot à partir d'un enregistrement de référence et de sa transcription, ou de synthétiser directement sans référence ; le dépôt inclut un codec 44.1kHz.

Titre original : Edge0/Audio8-TTS-Realistic-Air

Modèle de synthèse vocale entraîné en continu sur la base d'Edge0 Audio8-TTS-Preview-0.6b, avec un modèle principal de 6.01 milliards de paramètres (hors codec), reprenant l'architecture DualAR inspirée de Fish Audio S2 Pro : un transformateur autoregressif lent prédit un token sémantique par frame, tandis qu'un transformateur autoregressif rapide prédit les 10 codebooks de cette frame. Le nombre de langues prises en charge passe de 11 dans la version préliminaire à 23, avec l'ajout de l'arabe, du finnois, de l'hindi, de l'indonésien, du malais, du norvégien, du portugais, du russe, du suédois, du thaï, du turc et du vietnamien. Il est possible d'effectuer un clonage de timbre en zero-shot à partir d'un enregistrement de référence et de sa transcription, ou de synthétiser directement sans référence ; le dépôt inclut un codec 44.1kHz.

Pourquoi c'est important Le modèle principal ne compte que six cents millions de paramètres, est sous licence Apache, dispose d'une adaptation de service SGLang Omni et d'une interface vocale compatible OpenAI, ce qui le rend adapté au doublage local ou par lots.

Score en hausse 52.5 · J'aime 514 · Téléchargements 18680

Raisons

  • Selon les informations officielles, le taux d'erreur moyen pour l'anglais et le chinois de Seed-TTS est de 1.25% (contre 1.23% pour la version préliminaire), et la similarité du locuteur passe de 0.682 à 0.704 ; le taux d'erreur moyen sur neuf langues pour CV3 est de 4.86%.
  • Les informations officielles détaillent les taux d'erreur langue par langue, sans se limiter à une moyenne : les nouvelles langues comme le thaï, le finnois et le vietnamien présentent des taux d'erreur plus élevés sur CV3.
  • Un espace de démonstration en ligne ZeroGPU est disponible ; l'adaptation SGLang Omni prend en charge l'attention paginée, le traitement par lots dynamique et l'interface /v1/audio/speech.

Utilisation

  • Après installation via pip de torch, transformers (version supérieure à 4.57 et inférieure à 5) et soundfile, utilisez AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True) ; pour le clonage de timbre, fournissez reference_audio et un reference_text strictement identique.
  • Pour le service par lots, suivez les instructions sglang_omni du dépôt GitHub Edge0-AI/Audio8_TTS, utilisez la configuration audio8_tts_0_6b.yaml et remplacez le chemin du modèle par celui de ce dépôt.

Risques

  • La qualité varie considérablement selon les langues, avec des taux d'erreur nettement plus élevés pour le cantonais et certaines nouvelles langues ; les informations officielles avertissent qu'il peut y avoir des erreurs de lecture, des répétitions, des omissions ou des arrêts prématurés, une écoute humaine est donc nécessaire avant la finalisation.
  • Les informations officielles précisent que ces métriques ne mesurent que l'intelligibilité et la similarité du timbre, sans évaluer directement le « réalisme » ; les comparaisons avec d'autres modèles proviennent de processus d'évaluation différents et ne sont données qu'à titre indicatif.
  • L'exécution nécessite trust_remote_code pour lancer du code personnalisé ; le clonage de timbre requiert une autorisation ; cette entrée n'a pas été exécutée.

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA