AURA 2.0: Ассистентная модель, которая начинает разговор, наблюдая за видеопотоком

AURA 2.0 — это большая модель для обработки видеопотоков, которая на базе AURA добавляет три возможности: инициативное начало диалога моделью (MIC), позволяющее находить в видеопотоке темы, достойные обсуждения, и начинать разговор в подходящий момент даже без вопросов со стороны пользователя; вызов инструментов с учетом потока восприятия (SATC), который вызывает внешние инструменты на основе текущего кадра и контекста диалога и возвращает результаты обратно в диалог; интерактивное визуальное позиционирование (IVG), позволяющее распознавать объекты, отмеченные пользователем на изображении, и выводить при ответе рамки, выровненные по кадру. Также добавлена долговременная память для интерактивного взаимодействия LHIM, сохраняющая контекст в длинных видеопотоках. Команда создала специальный набор данных для интерактивной работы с потоками и обучала модель в три этапа; авторы заявляют о превосходстве над открытыми потоковыми моделями на общедоступных потоковых бенчмарках.

Оригинальное название: Beyond Answering: Learning to Speak First and Act in Streaming Video

AURA 2.0 — это большая модель для обработки видеопотоков, которая на базе AURA добавляет три возможности: инициативное начало диалога моделью (MIC), позволяющее находить в видеопотоке темы, достойные обсуждения, и начинать разговор в подходящий момент даже без вопросов со стороны пользователя; вызов инструментов с учетом потока восприятия (SATC), который вызывает внешние инструменты на основе текущего кадра и контекста диалога и возвращает результаты обратно в диалог; интерактивное визуальное позиционирование (IVG), позволяющее распознавать объекты, отмеченные пользователем на изображении, и выводить при ответе рамки, выровненные по кадру. Также добавлена долговременная память для интерактивного взаимодействия LHIM, сохраняющая контекст в длинных видеопотоках. Команда создала специальный набор данных для интерактивной работы с потоками и обучала модель в три этапа; авторы заявляют о превосходстве над открытыми потоковыми моделями на общедоступных потоковых бенчмарках.

Почему это важно Большинство ассистентов отвечают только на вопросы; эта модель ориентирована на сопровождение в реальном времени и подсказки на месте, при этом веса, фронтенд и бэкенд для голосового взаимодействия, а также интерфейс браузера опубликованы с открытым исходным кодом

Лайки 8 · Звезды в репозитории 28

Причины

  • Выпущены веса AURA 2.0 и BF8, а также дуплексный бэкенд, интерфейс браузера, исполнитель инструментов и скрипты развертывания под лицензией Apache-2.0
  • Демонстрация представляет собой полноценный голосовой звонок: распознавание речи выполняется с помощью Qwen3-ASR-1.7B, синтез речи — с помощью Qwen3-TTS-12Hz-1.7B; можно говорить, удерживая кнопку, печатать текст или рисовать круги на изображении для постановки вопросов
  • Опционально можно использовать Qwen3-VL-8B-Instruct для суммаризации памяти в длинных диалогах (по умолчанию отключено)

Использование

  • Код: https://github.com/aurateam2026/Aura2.0;权重在抱脸 aurateam/AURA_2 (или AURA_2_BF8); после загрузки сначала проверьте веса с помощью deploy/lib/check_ckpt.py
  • Запустите сервис одной командой: bash deploy/aura.sh up --aura каталог_весов --gpus 0,1 --speaker Serena (при первом запуске установится окружение, загрузятся модели ASR / TTS и выполнится смоук-тестирование), затем откройте в браузере localhost:9310; для удаленного сервера используйте SSH-туннель, для доступа с телефона настройте обратный прокси с HTTPS
  • Также можно развернуть с помощью Docker, но образ нужно собирать самостоятельно (официальные готовые образы не публикуются)

Риски

  • Проверенная конфигурация: 2 ускорителей по 80 ГБ; для конфигурации с одним ускорителем требуется карта объемом 80 ГБ с примерно 70 ГБ свободной памяти, другое оборудование не проверялось
  • В кратком описании не приведены конкретные баллы, фраза «превосходит открытые потоковые модели» является заявлением авторов; в рамках данной записи тестирование не проводилось

Открыть · Код · Страница статьи

Hugging Face Daily Papers

Открыть последние новости ИИ