Sophon-Realtime-4B-Flash

Sophon-Realtime-4B-Flash — это полнодуплексная модель голосового диалога с открытым исходным кодом от adventists-ai: она постоянно слушает, пока вы говорите, определяет по звуку, закончили ли вы фразу, и одновременно генерирует ответ со звуковыми тегами, такими как [laughter] (смех) и [sigh] (вздох), произнося его вслух с помощью более легкой голосовой модели, которая озвучивает текст покадрово каждые 80 миллисекунд. Официально заявлено, что модель работает на одной видеокарте с 24 ГБ памяти (потребление около 21 ГБ); на RTX PRO 6000 первый аудиофрагмент появляется примерно через 0.21 секунд, а средний балл по четырем метрикам Full-Duplex-Bench v1.0 составляет 87.7. Модель развертывается как модель vLLM-Omni и предоставляет интерфейсы /v1/realtime и /v1/chat/completions; в той же серии также существуют более выразительная версия Tag и сквозная версия E2E (обе требуют видеокарты с 32 ГБ памяти).

Sophon-Realtime-4B-Flash — это полнодуплексная модель голосового диалога с открытым исходным кодом от adventists-ai: она постоянно слушает, пока вы говорите, определяет по звуку, закончили ли вы фразу, и одновременно генерирует ответ со звуковыми тегами, такими как [laughter] (смех) и [sigh] (вздох), произнося его вслух с помощью более легкой голосовой модели, которая озвучивает текст покадрово каждые 80 миллисекунд. Официально заявлено, что модель работает на одной видеокарте с 24 ГБ памяти (потребление около 21 ГБ); на RTX PRO 6000 первый аудиофрагмент появляется примерно через 0.21 секунд, а средний балл по четырем метрикам Full-Duplex-Bench v1.0 составляет 87.7. Модель развертывается как модель vLLM-Omni и предоставляет интерфейсы /v1/realtime и /v1/chat/completions; в той же серии также существуют более выразительная версия Tag и сквозная версия E2E (обе требуют видеокарты с 32 ГБ памяти).

Почему это важно Версия серии на 32B требует более мощных видеокарт; версия на 4B сохраняет поддержку перебивания, подхватывания реплик и звуковых тегов (смех, вздохи), что делает ее подходящей для локального общения в роли собеседника или ролевых игр, однако ее знания значительно слабее.

Лайки на Hugging Face 6 · Рост рейтинга на Hugging Face 5 · Загрузки с Hugging Face 31

Лицензия: разрешено коммерческое использование · ComfyUI: пока нет · Видеопамять: 32 ГБ

Причины

  • Лицензия Apache-2.0, модель доступна для загрузки на Hugging Face и ModelScope, есть онлайн-демо на Hugging Face
  • В карточке модели четко описаны различия в результатах тестирования между версиями 4B и 32B, условия измерений и области применения

Использование

  • Выполните git clone https://github.com/adventists-ai/sophon-realtime, затем перейдите в каталог flash и запустите bash install.sh; выполните hf download adventists-ai/Sophon-Realtime-4B-Flash --local-dir ./model, затем запустите GPU=0 PORT=8000 bash start.sh и общайтесь с помощью python client_example.py --url http://127.0.0.1:8000

Риски

  • Официально заявлено, что знания и способности к рассуждению у версии 4B значительно слабее, чем у версии 32B (VoiceBench: 62.4 против 82.8); модель может уверенно сообщать неверные факты, поэтому для получения точных ответов следует использовать версию 32B
  • Модель обрабатывает только голос и не поддерживает визуальные данные; поддерживается клонирование голоса с нулевым количеством примеров (zero-shot), но можно клонировать только свой собственный голос или голос, на использование которого получено разрешение; рекомендованный в начале карточки модели хостинг API является официальной платной услугой

Открыть

抱脸 any-to-any 上升榜

Открыть последние новости ИИ