Sophon-Realtime v1: полнодуплексная голосовая модель, распознающая интонацию и умеющая смеяться и вздыхать

Главная страница семейства полнодуплексных голосовых диалоговых моделей Adventists AI. Все три версии используют одну и ту же модель размером 32B для распознавания речи, определения очерёдности реплик и генерации ответов; различия заключаются лишь в способе озвучивания: в версии Tag (рекомендуется) модель генерирует ответы с голосовыми метками, которые затем исполняются выразительной голосовой моделью (смех, вздохи, откашливание и т.д.); в версии Flash используется более лёгкая и быстрая голосовая модель, по официальным данным, время до первого аудиофрагмента для одного пользователя составляет 0.31 секунд; версия E2E представляет собой исследовательское превью сквозной архитектуры. По официальным данным, модель занимает первое место среди полнодуплексных моделей с открытым исходным кодом, получив оценки 82.8 в VoiceBench и 81.8% в Big Bench Audio. Поддерживаются перебивание и поддерживающие реплики, также имеется шлюз, совместимый с протоколом OpenAI GPT-Live, позволяющий передавать запросы и операции на бэкенд-модели.

Оригинальное название: adventists-ai/Sophon-Realtime-v1

Главная страница семейства полнодуплексных голосовых диалоговых моделей Adventists AI. Все три версии используют одну и ту же модель размером 32B для распознавания речи, определения очерёдности реплик и генерации ответов; различия заключаются лишь в способе озвучивания: в версии Tag (рекомендуется) модель генерирует ответы с голосовыми метками, которые затем исполняются выразительной голосовой моделью (смех, вздохи, откашливание и т.д.); в версии Flash используется более лёгкая и быстрая голосовая модель, по официальным данным, время до первого аудиофрагмента для одного пользователя составляет 0.31 секунд; версия E2E представляет собой исследовательское превью сквозной архитектуры. По официальным данным, модель занимает первое место среди полнодуплексных моделей с открытым исходным кодом, получив оценки 82.8 в VoiceBench и 81.8% в Big Bench Audio. Поддерживаются перебивание и поддерживающие реплики, также имеется шлюз, совместимый с протоколом OpenAI GPT-Live, позволяющий передавать запросы и операции на бэкенд-модели.

Почему это важно Редкий случай в области полнодуплексного голосового диалога с открытым исходным кодом: модель распознаёт интонацию и реагирует смехом или вздохами; развёртывание возможно на одной видеокарте, разрешено коммерческое использование

Рост рейтинга 63 · лайки 65 · количество загрузок 0

Причины

  • Распознаёт такие нюансы интонации, как нерешительность, акцентирование, ирония и смех, и отвечает соответствующей интонацией
  • Для версий Tag и Flash, по официальным данным, достаточно одной видеокарты с 80 ГБ памяти и одной команды для запуска сервиса через vLLM-Omni
  • Код и веса распространяются под лицензией Apache-2.0, разрешено коммерческое использование; поддерживается дообучение с помощью LoRA для настройки персоны, интонации и предметных знаний

Использование

  • После установки pip install sophon-realtime выполните команду sophon-realtime serve (при первом запуске будут загружены веса модели Tag размером около 42 ГБ)
  • Для прослушивания можно использовать онлайн-диалог в пространстве ModelScope; веса для развертывания находятся в двух репозиториях: Sophon-Realtime-32B-Tag и Flash

Риски

  • Данный репозиторий является главной страницей семейства; для развёртывания необходимо использовать веса из репозиториев Tag или Flash, а базовая модель для дообучения размещена в ModelScope
  • Большинство оценок получены в ходе самостоятельных тестов разработчиков и проверены с помощью больших языковых моделей
  • Данный пункт не был проверен на практике; фактические результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ