Titre original : fishaudio/drama-3
Fish Audio présente un nouveau modèle de synthèse vocale (TTS) destiné aux scénarios multi-personnages et aux contenus longs. Le backbone textuel est un MoE (350 milliards de paramètres au total, 30 milliards activés par token, mélangeant attention complète et attention linéaire) ; le décodeur audio décode de manière causale selon 10 codebooks. En utilisant les balises <|speaker:0|> à <|speaker:15|>, un texte peut être divisé en jusqu'à 16 personnages. Le modèle prend en charge le clonage de voix, l'insertion de balises d'événements telles que [sighs] et [laughs] dans le texte, ainsi que la régénération en utilisant le texte de l'enregistrement précédent comme contexte, en ne modifiant qu'un seul mot. Selon les données officielles, sur une carte H200, le temps de première réponse audio en mode mono est d'environ 89 millisecondes, et la vitesse de génération reste d'environ 2.7 fois la vitesse de lecture lors d'une exécution concurrente sur 16 flux.
Pourquoi c'est important Idéal pour les livres audio, les drames radiophoniques et le doublage de dialogues multi-personnages ; modifier un mot ne nécessite pas de réenregistrer tout le segment, avec un temps de première réponse audio en mode mono inférieur à cent millisecondes
Score de progression 59 · J'aime 1249 · Téléchargements 46208
Raisons
- Changement de locuteurs multiples au sein d'un même texte, segmentation automatique des textes longs et sortie en streaming par segment, idéal pour les drames radiophoniques, les livres audio et les dialogues multi-personnages
- « Édition incrémentale » : placez les versions précédentes dans previous_takes, modifiez uniquement les mots nécessaires, permettant des modifications successives multiples
- Support dès le premier jour par SGLang-Omni et vLLM-Omni, accompagné d'un rapport technique et de tableaux de performance pour différents niveaux de concurrence
Utilisation
- SGLang-Omni : après avoir installé les dépendances supplémentaires fishaudio, lancez sgl-omni serve --model-path fishaudio/drama-3 ; ou vllm serve fishaudio/drama-3 --omni
- Dans la requête, fournissez des références audio et le texte correspondant dans le champ references pour cloner le timbre vocal, et insérez directement des balises telles que [sighs] et [laughs] dans le texte pour contrôler l'interprétation
Risques
- Licence communautaire Fish Audio : gratuite pour la recherche et les usages non commerciaux ; usage commercial autorisé si le chiffre d'affaires annuel est inférieur à 50 millions de dollars ; une licence distincte est requise pour fournir des services d'hébergement TTS / clonage de voix à des tiers
- Les données de performance ont été mesurées par l'éditeur officiel sur une carte H200
- Obtenez l'autorisation avant d'utiliser la voix d'autrui
- Cette entrée n'a pas été exécutée ; les résultats dépendent de la fiche du modèle