Многоголосая модель синтеза речи от Fish Audio, включенная в реестр 10 23: один текст можно распределить максимум между 16 дикторами, поддерживается клонирование голоса, управление интонацией с помощью таких тегов, как [sighs], и естественного языка, а также возможность переписать слова на основе предыдущей аудиозаписи. Повторное включение в реестр связано с тем, что 10 29 веса основной модели были полностью обновлены.
Рост рейтинга: 111 · Лайки: 1127 · Загрузки: 31923
Причины
- Новое содержимое: 10 29 в основной репозиторий была загружена новая версия весов, количество частей изменилось с 8 до 15. В описании загрузки указывалось, что это веса «итерации RL №100», формат FP8 и структура файлов остались прежними, однако позже это примечание было удалено. Если вы скачали модель до 10 29, необходимо повторно загрузить файлы для получения новой версии.
- Уточнение лицензии: в выпуске от 10 23 упоминалось, что «файл LICENSE.md не открывается, условия коммерческого использования проверить невозможно». На самом деле файл LICENSE в репозитории доступен для чтения и представляет собой лицензию сообщества Fish Audio 1.0: бесплатное использование для исследований и некоммерческих целей; бесплатное коммерческое использование для физических лиц или компаний с годовым доходом менее 50 млн долларов США; предоставление внешних API TTS или хостинговых услуг требует отдельного соглашения независимо от масштаба.
- В техническом отчете (arXiv 2610.18010) указано, что на этапе обучения с подкреплением использовалась только одна обученная модель предпочтений человека в качестве функции вознаграждения; движок вывода декодирует 271 кадров в секунду при однопоточной обработке на одной карте H200, тогда как Fish Audio S2 обеспечивает 177 кадров (данные официальные).
Использование
- SGLang-Omni: выполните git clone sgl-project/sglang-omni, затем uv pip install --prerelease=allow -e ".[fishaudio]", после чего запустите sgl-omni serve --model-path fishaudio/drama-3 --port 8000. Также можно использовать vLLM-Omni: vllm serve fishaudio/drama-3 --omni --port 8091.
- Вызов эндпоинта /v1/tts: в параметре references передайте референсный аудиофайл и транскрипт для клонирования голоса; в тексте используйте теги от <|speaker:0|> до <|speaker:15|> для назначения ролей, а в местах, где требуется произнесение, вставьте теги [sighs], [laughs] и т.д. Для переписывания слов поместите старый текст в параметр previous_takes; это можно делать несколько раз подряд.
- При высокой конкурентности официально рекомендуется вынести вокодер на второй GPU: при 256 одновременных запросах пропускная способность увеличивается примерно на 72%, а медианная задержка первого пакета снижается на 37%.
Риски
- Обновление весов не сопровождается описанием изменений или сравнением старой и новой версий; официальные данные о том, что именно было изменено и в чем улучшения, отсутствуют. В данном обзоре примеры работы старой и новой версий не приводились.
- В начале карточки модели по-прежнему указана ссылка на несуществующий файл LICENSE.md; условия лицензии следует смотреть в файле LICENSE в репозитории. Для хостинга/API-сервисов, а также для коммерческого использования при годовом доходе свыше 50 млн долларов США требуется отдельное соглашение.
- Размер основных весов составляет около 39.6 ГБ (экспертные слои в формате FP8); официальные тесты производительности проводились на картах H200, информация о возможности запуска на потребительских видеокартах отсутствует; поддержка ComfyUI пока не реализована.