Оригинальное название: Beyond Answering: Learning to Speak First and Act in Streaming Video
AURA 2.0 — это большая модель для обработки видеопотоков, которая на базе AURA добавляет три возможности: инициативное начало диалога моделью (MIC), позволяющее находить в видеопотоке темы, достойные обсуждения, и начинать разговор в подходящий момент даже без вопросов со стороны пользователя; вызов инструментов с учетом потока восприятия (SATC), который вызывает внешние инструменты на основе текущего кадра и контекста диалога и возвращает результаты обратно в диалог; интерактивное визуальное позиционирование (IVG), позволяющее распознавать объекты, отмеченные пользователем на изображении, и выводить при ответе рамки, выровненные по кадру. Также добавлена долговременная память для интерактивного взаимодействия LHIM, сохраняющая контекст в длинных видеопотоках. Команда создала специальный набор данных для интерактивной работы с потоками и обучала модель в три этапа; авторы заявляют о превосходстве над открытыми потоковыми моделями на общедоступных потоковых бенчмарках.
Почему это важно Большинство ассистентов отвечают только на вопросы; эта модель ориентирована на сопровождение в реальном времени и подсказки на месте, при этом веса, фронтенд и бэкенд для голосового взаимодействия, а также интерфейс браузера опубликованы с открытым исходным кодом
Лайки 8 · Звезды в репозитории 28
Причины
- Выпущены веса AURA 2.0 и BF8, а также дуплексный бэкенд, интерфейс браузера, исполнитель инструментов и скрипты развертывания под лицензией Apache-2.0
- Демонстрация представляет собой полноценный голосовой звонок: распознавание речи выполняется с помощью Qwen3-ASR-1.7B, синтез речи — с помощью Qwen3-TTS-12Hz-1.7B; можно говорить, удерживая кнопку, печатать текст или рисовать круги на изображении для постановки вопросов
- Опционально можно использовать Qwen3-VL-8B-Instruct для суммаризации памяти в длинных диалогах (по умолчанию отключено)
Использование
- Код: https://github.com/aurateam2026/Aura2.0;权重在抱脸 aurateam/AURA_2 (или AURA_2_BF8); после загрузки сначала проверьте веса с помощью deploy/lib/check_ckpt.py
- Запустите сервис одной командой: bash deploy/aura.sh up --aura каталог_весов --gpus 0,1 --speaker Serena (при первом запуске установится окружение, загрузятся модели ASR / TTS и выполнится смоук-тестирование), затем откройте в браузере localhost:9310; для удаленного сервера используйте SSH-туннель, для доступа с телефона настройте обратный прокси с HTTPS
- Также можно развернуть с помощью Docker, но образ нужно собирать самостоятельно (официальные готовые образы не публикуются)
Риски
- Проверенная конфигурация: 2 ускорителей по 80 ГБ; для конфигурации с одним ускорителем требуется карта объемом 80 ГБ с примерно 70 ГБ свободной памяти, другое оборудование не проверялось
- В кратком описании не приведены конкретные баллы, фраза «превосходит открытые потоковые модели» является заявлением авторов; в рамках данной записи тестирование не проводилось