Оригинальное название: adventists-ai/Sophon-Realtime-v1
Семейство открытых полнодуплексных голосовых моделей Adventists AI (AI Adventists), 11-10 уже включено в каталог. Все три версии используют один и тот же «мозг» размером 32B для распознавания речи, определения очерёдности реплик и генерации ответов; различия заключаются лишь в способе преобразования текста в звук: Tag использует более выразительную голосовую модель, Flash работает быстрее и поддерживает больше одновременных сессий на одной видеокарте, а E2E использует «голову» синтезатора речи с примерно 3.5 млн параметров для прямой генерации непрерывных векторов звука. Прогресс после 11-10: 11-11 версия E2E (1.1.3) перешла из статуса предварительной в официальную, требования снижены с двух видеокарт до одной с 80 ГБ памяти; 11-12 (1.1.4) E2E теперь можно развертывать как модель vLLM-Omni, команды и интерфейс идентичны Tag и Flash; 11-13 (1.2.0) длинные ответы больше не обрываются примерно через 2 минуту; 11-14 (1.3.0) E2E поддерживает клонирование голоса с нулевым количеством примеров (zero-shot), достаточно записи длительностью 5–12 секунд, веса модели не изменились.
Почему это важно После последнего включения в каталог последовали обновления: версию E2E можно развертывать через тот же интерфейс, что и Tag и Flash, длинные ответы больше не обрываются, также доступен бесплатный хостинг для тестирования
Рост рейтинга 158 · Лайки 210 · Загрузки 0
Причины
- Официально заявлено, что общий «мозг» всех трёх версий занимает первое место среди открытых полнодуплексных моделей по бенчмаркам VoiceBench 82.8 и Big Bench Audio 81.8%; задержка первого пакета для одной сессии E2E составляет около 0.25 секунды, рекомендуемая одновременная нагрузка на одну видеокарту — 16 сессий
- Официально представлены результаты оценки невербальных звуков для E2E: NVV-SuperBench, китайский язык 0.85, английский язык 0.75 (суммарно по четырём категориям: смех, кашель, вздохи, дыхание)
- На главной странице добавлен хостинг-интерфейс, при регистрации предоставляется 3 часов голосового общения, поддерживается протокол OpenAI Realtime, протестировать можно даже без видеокарты
Использование
- Способ запуска E2E через vLLM-Omni: выполните git clone в каталог https://github.com/adventists-ai/sophon-realtime,进 e2e/, запустите bash install.sh (около 41 ГБ), затем GPU=0 PORT=8000 bash start.sh; интерфейсы: /v1/realtime и /v1/chat/completions
- Если приоритетом является выразительность, выбирайте Tag; если важна одновременная нагрузка на одной видеокарте — Flash (после pip install "sophon-realtime[trt]" выполните sophon-realtime serve); режим Live совместим с протоколом OpenAI GPT-Live, что позволяет передавать запросы и действия более крупным бэкенд-моделям
Риски
- Требуется видеокарта уровня H100 с 80 ГБ памяти (фактическое потребление E2E составляет около 70 ГБ); официально заявлено, что на RTX PRO 6000 версия E2E обеспечивает стабильную работу примерно для 4–8 одновременных сессий
- Версия E2E поддерживает только китайский и английский языки; результаты тестов предоставлены разработчиками, некоторые сравнительные оценки взяты из сторонних рейтингов
- Клонирование голоса с нулевым количеством примеров требует кода 1.3.0 или выше и доступно только при использовании способа запуска через vLLM-Omni; в данном обзоре не тестировалось