Оригинальное название: fishaudio/drama-3
Новое поколение модели преобразования текста в речь от Fish Audio, ориентированной на многоперсонажные сценарии и длинные тексты. Текстовый основной модуль выполнен на архитектуре MoE (общее количество параметров 350 млрд, активация 30 млрд параметров на токен, смешивание полного и линейного внимания), аудиодекодер выполняет каузальное декодирование по 10 кодовым книгам; с помощью тегов от <|speaker:0|> до <|speaker:15|> один текст можно разделить максимум на 16 ролей. Поддерживается клонирование голоса, вставка событийных тегов, таких как [sighs] и [laughs], непосредственно в текст, а также использование текста предыдущей записи в качестве контекста для перегенерации с изменением всего одного слова. По официальным данным, на одной карте H200 время до получения первого пакета аудио при однопоточной обработке составляет около 89 мс, а при 16 одновременных потоках скорость генерации все еще примерно в 2.7 раз превышает скорость воспроизведения.
Почему это важно Подходит для аудиокниг, радиоспектаклей и озвучивания диалогов с несколькими персонажами; изменение одного слова не требует перезаписи всего фрагмента, время до получения первого пакета аудио при однопоточной обработке составляет менее ста миллисекунд
Рост рейтинга 59 · лайки 1249 · количество загрузок 46208
Причины
- Переключение между несколькими дикторами внутри одного текста, автоматическое разбиение длинных текстов на сегменты с возможностью потоковой выдачи по сегментам, что подходит для радиоспектаклей, аудиокниг и многоперсонажных диалогов
- «Редактирование в стиле продолжения»: предыдущие версии добавляются в previous_takes, изменяются только необходимые слова, что позволяет вносить правки многократно подряд
- Поддержка SGLang-Omni и vLLM-Omni с первого дня релиза, прилагаются технический отчет и таблица производительности при различных уровнях параллелизма
Использование
- SGLang-Omni: после установки дополнительных зависимостей fishaudio выполните sgl-omni serve --model-path fishaudio/drama-3; или vllm serve fishaudio/drama-3 --omni
- В запросе в поле references укажите эталонное аудио и соответствующий текст для клонирования тембра, а в самом тексте используйте теги [sighs], [laughs] и другие для управления интонацией
Риски
- Лицензия сообщества Fish Audio: бесплатно для исследований и некоммерческого использования; коммерческое использование разрешено при годовом доходе менее 50 тыс. долларов США; для предоставления внешних услуг хостинга TTS / клонирования голоса требуется отдельная лицензия
- Данные о производительности получены официально на оборудовании H200
- Перед использованием чужого голоса необходимо получить разрешение
- Данный пункт не был протестирован, фактические результаты следует сверять с карточкой модели