Fish Audio Drama 3: синтез речи для текстов с количеством ролей до шестнадцати

Новое поколение модели преобразования текста в речь от Fish Audio, ориентированной на многоперсонажные сценарии и длинные тексты. Текстовый основной модуль выполнен на архитектуре MoE (общее количество параметров 350 млрд, активация 30 млрд параметров на токен, смешивание полного и линейного внимания), аудиодекодер выполняет каузальное декодирование по 10 кодовым книгам; с помощью тегов от <|speaker:0|> до <|speaker:15|> один текст можно разделить максимум на 16 ролей. Поддерживается клонирование голоса, вставка событийных тегов, таких как [sighs] и [laughs], непосредственно в текст, а также использование текста предыдущей записи в качестве контекста для перегенерации с изменением всего одного слова. По официальным данным, на одной карте H200 время до получения первого пакета аудио при однопоточной обработке составляет около 89 мс, а при 16 одновременных потоках скорость генерации все еще примерно в 2.7 раз превышает скорость воспроизведения.

Оригинальное название: fishaudio/drama-3

Новое поколение модели преобразования текста в речь от Fish Audio, ориентированной на многоперсонажные сценарии и длинные тексты. Текстовый основной модуль выполнен на архитектуре MoE (общее количество параметров 350 млрд, активация 30 млрд параметров на токен, смешивание полного и линейного внимания), аудиодекодер выполняет каузальное декодирование по 10 кодовым книгам; с помощью тегов от <|speaker:0|> до <|speaker:15|> один текст можно разделить максимум на 16 ролей. Поддерживается клонирование голоса, вставка событийных тегов, таких как [sighs] и [laughs], непосредственно в текст, а также использование текста предыдущей записи в качестве контекста для перегенерации с изменением всего одного слова. По официальным данным, на одной карте H200 время до получения первого пакета аудио при однопоточной обработке составляет около 89 мс, а при 16 одновременных потоках скорость генерации все еще примерно в 2.7 раз превышает скорость воспроизведения.

Почему это важно Подходит для аудиокниг, радиоспектаклей и озвучивания диалогов с несколькими персонажами; изменение одного слова не требует перезаписи всего фрагмента, время до получения первого пакета аудио при однопоточной обработке составляет менее ста миллисекунд

Рост рейтинга 59 · лайки 1249 · количество загрузок 46208

Причины

  • Переключение между несколькими дикторами внутри одного текста, автоматическое разбиение длинных текстов на сегменты с возможностью потоковой выдачи по сегментам, что подходит для радиоспектаклей, аудиокниг и многоперсонажных диалогов
  • «Редактирование в стиле продолжения»: предыдущие версии добавляются в previous_takes, изменяются только необходимые слова, что позволяет вносить правки многократно подряд
  • Поддержка SGLang-Omni и vLLM-Omni с первого дня релиза, прилагаются технический отчет и таблица производительности при различных уровнях параллелизма

Использование

  • SGLang-Omni: после установки дополнительных зависимостей fishaudio выполните sgl-omni serve --model-path fishaudio/drama-3; или vllm serve fishaudio/drama-3 --omni
  • В запросе в поле references укажите эталонное аудио и соответствующий текст для клонирования тембра, а в самом тексте используйте теги [sighs], [laughs] и другие для управления интонацией

Риски

  • Лицензия сообщества Fish Audio: бесплатно для исследований и некоммерческого использования; коммерческое использование разрешено при годовом доходе менее 50 тыс. долларов США; для предоставления внешних услуг хостинга TTS / клонирования голоса требуется отдельная лицензия
  • Данные о производительности получены официально на оборудовании H200
  • Перед использованием чужого голоса необходимо получить разрешение
  • Данный пункт не был протестирован, фактические результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ