Le modèle de synthèse vocale multi-locuteurs de Fish Audio, déjà répertorié le 10 23 : un texte peut être attribué à un maximum de 16 locuteurs, prend en charge le clonage vocal, permet de contrôler le ton à l'aide de balises telles que [sighs] et de langage naturel, et permet de réenregistrer en modifiant les paroles sur la base de l'audio précédent. Cette nouvelle répertoriation est due au fait que les poids du dépôt principal ont été entièrement remplacés le 10 29.
Hausse de score de 111 · J'aime 1127 · Téléchargements 31923
Raison
- Nouveau contenu : le 10 29, le dépôt principal a téléchargé un ensemble complet de nouveaux poids, passant de 8 à 15 fragments. La description jointe lors du téléchargement indiquait qu'il s'agissait des poids de la « RL itération 100 », le format FP8 et la structure des fichiers restant inchangés ; cette mention a ensuite été supprimée. Les téléchargements effectués avant le 10 29 doivent être relancés pour obtenir la nouvelle version.
- Correction de licence : le 10 23, cette rubrique indiquait que « LICENSE.md ne s'ouvre pas, les conditions commerciales ne peuvent pas être vérifiées ». En réalité, le fichier LICENSE du dépôt est lisible, il s'agit de la licence communautaire Fish Audio 1.0 : gratuit pour la recherche et l'usage non commercial ; gratuit pour l'usage commercial pour les particuliers ou les entreprises dont le chiffre d'affaires annuel est inférieur à 50 millions de dollars ; un accord distinct est requis pour fournir une API TTS ou un service hébergé, quelle que soit la taille.
- Le rapport technique (arXiv 2610.18010) indique que la phase d'apprentissage par renforcement utilise uniquement un modèle de préférence humaine appris comme récompense ; le moteur d'inférence décode 271 images par seconde en mono-canal sur une seule H200, Fish Audio S2 en décode 177 (chiffres officiels).
Utilisation
- SGLang-Omni : git clone sgl-project/sglang-omni, uv pip install --prerelease=allow -e ".[fishaudio]", puis sgl-omni serve --model-path fishaudio/drama-3 --port 8000. Vous pouvez également utiliser vLLM-Omni : vllm serve fishaudio/drama-3 --omni --port 8091.
- Appelez /v1/tts : dans references, transmettez l'audio de référence et la transcription mot à mot pour cloner la voix ; dans le texte, utilisez <|speaker:0|> à <|speaker:15|> pour attribuer les rôles, et insérez des balises telles que [sighs], [laughs] aux endroits où le son doit être émis. Pour réenregistrer en modifiant les paroles, placez l'ancien texte dans previous_takes, vous pouvez effectuer plusieurs modifications consécutives.
- En cas de forte concurrence, la recommandation officielle est de placer le vocodeur sur un second GPU : avec 256 flux concurrents, le débit est environ 72% plus élevé et la latence médiane du premier paquet est réduite de 37%.
Risques
- Le remplacement des poids n'est accompagné d'aucune note de mise à jour ni de comparaison entre les anciennes et nouvelles versions ; ce qui a changé et les améliorations ne sont pas précisés par l'éditeur ; cette rubrique n'a pas écouté les exemples des anciennes et nouvelles versions.
- Le début de la fiche modèle pointe toujours vers un LICENSE.md inexistant, les conditions sont à consulter dans le fichier LICENSE du dépôt ; les services hébergés / API, ainsi que l'usage commercial pour un chiffre d'affaires annuel supérieur à 50 millions de dollars, nécessitent un accord distinct.
- Le poids principal fait environ 39.6 Go (les couches d'experts sont en FP8), les tests de vitesse officiels sont effectués sur H200, la compatibilité avec les cartes graphiques grand public n'est pas indiquée ; le support ComfyUI n'est pas encore disponible.