Оригинальное название: adventists-ai/Sophon-Realtime-v1
Главная страница семейства полнодуплексных голосовых диалоговых моделей Adventists AI. Все три версии используют одну и ту же модель размером 32B для распознавания речи, определения очерёдности реплик и генерации ответов; различия заключаются лишь в способе озвучивания: в версии Tag (рекомендуется) модель генерирует ответы с голосовыми метками, которые затем исполняются выразительной голосовой моделью (смех, вздохи, откашливание и т.д.); в версии Flash используется более лёгкая и быстрая голосовая модель, по официальным данным, время до первого аудиофрагмента для одного пользователя составляет 0.31 секунд; версия E2E представляет собой исследовательское превью сквозной архитектуры. По официальным данным, модель занимает первое место среди полнодуплексных моделей с открытым исходным кодом, получив оценки 82.8 в VoiceBench и 81.8% в Big Bench Audio. Поддерживаются перебивание и поддерживающие реплики, также имеется шлюз, совместимый с протоколом OpenAI GPT-Live, позволяющий передавать запросы и операции на бэкенд-модели.
Почему это важно Редкий случай в области полнодуплексного голосового диалога с открытым исходным кодом: модель распознаёт интонацию и реагирует смехом или вздохами; развёртывание возможно на одной видеокарте, разрешено коммерческое использование
Рост рейтинга 63 · лайки 65 · количество загрузок 0
Причины
- Распознаёт такие нюансы интонации, как нерешительность, акцентирование, ирония и смех, и отвечает соответствующей интонацией
- Для версий Tag и Flash, по официальным данным, достаточно одной видеокарты с 80 ГБ памяти и одной команды для запуска сервиса через vLLM-Omni
- Код и веса распространяются под лицензией Apache-2.0, разрешено коммерческое использование; поддерживается дообучение с помощью LoRA для настройки персоны, интонации и предметных знаний
Использование
- После установки
pip install sophon-realtimeвыполните командуsophon-realtime serve(при первом запуске будут загружены веса модели Tag размером около 42 ГБ) - Для прослушивания можно использовать онлайн-диалог в пространстве ModelScope; веса для развертывания находятся в двух репозиториях: Sophon-Realtime-32B-Tag и Flash
Риски
- Данный репозиторий является главной страницей семейства; для развёртывания необходимо использовать веса из репозиториев Tag или Flash, а базовая модель для дообучения размещена в ModelScope
- Большинство оценок получены в ходе самостоятельных тестов разработчиков и проверены с помощью больших языковых моделей
- Данный пункт не был проверен на практике; фактические результаты следует сверять с карточкой модели