Duo: Полнодуплексная модель мира с одновременным просмотром, прослушиванием и ответами в реальном времени через аудио и видео

Авторы считают, что существующие модели мира в основном имитируют физическую реальность, рассматривая рассуждения и принятие решений как внешнее управление. Duo v1 включает обе части в модель: модуль Intent непрерывно рассуждает авторегрессионно и решает, когда участвовать во взаимодействии; модуль Realization генерирует согласованные аудио- и видеоповедения. Оба модуля формируют условия по блокам, синхронизируют токены на единой временной шкале и используют специфичные для модулей маски внимания, чтобы исключить просмотр будущих входных данных; при обучении применяется «двойная разверточная дистилляция», позволяющая каждой стороне обучаться на собственных сгенерированных токенах Intent и синтетических аудио- и видеоданных, что снижает смещение распределения при инференсе. Авторы утверждают, что пользователи могут вести естественные разговоры и перебивать, демонстрировать физические объекты, изменять виртуальные сцены, отдавать команды ассистенту или играть в аудио- и видеоигры без использования мыши и клавиатуры.

Оригинальное название: Duo: A Reciprocal World Model for Full-Duplex Interaction

Авторы считают, что существующие модели мира в основном имитируют физическую реальность, рассматривая рассуждения и принятие решений как внешнее управление. Duo v1 включает обе части в модель: модуль Intent непрерывно рассуждает авторегрессионно и решает, когда участвовать во взаимодействии; модуль Realization генерирует согласованные аудио- и видеоповедения. Оба модуля формируют условия по блокам, синхронизируют токены на единой временной шкале и используют специфичные для модулей маски внимания, чтобы исключить просмотр будущих входных данных; при обучении применяется «двойная разверточная дистилляция», позволяющая каждой стороне обучаться на собственных сгенерированных токенах Intent и синтетических аудио- и видеоданных, что снижает смещение распределения при инференсе. Авторы утверждают, что пользователи могут вести естественные разговоры и перебивать, демонстрировать физические объекты, изменять виртуальные сцены, отдавать команды ассистенту или играть в аудио- и видеоигры без использования мыши и клавиатуры.

Почему это важно Объединение «намерений» и «способа их реализации» в одной модели и на одной временной шкале позволяет естественно перебивать и прерывать собеседника во время взаимодействия, а не ждать завершения прослушивания перед генерацией ответа

Лайки 36 · Звезды на GitHub 27

Причины

  • Выпущены четыре набора весов: каузальная базовая модель Duo-1.0, версия с дистилляцией за 4 шага, квантованная версия, а также каузальная базовая модель Duo-1.2 с улучшенным качеством изображения; веса модуля Realization инициализируются из MiniMax H3 и затем дообучаются
  • Ветка main содержит исследовательский офлайн-конвейер (записанное видео → транскрипция и выравнивание через Qwen3-ASR → Intent → Realization → аудио- и видеокодеки); ветки inference/vllm-omni-duo (рекомендуется) и inference/sglang-omni-duo обеспечивают развертывание в режиме реального времени с потоковой передачей
  • Во фронтенде предусмотрен режим предпросмотра без загрузки весов, позволяющий сначала ознакомиться с интерфейсом взаимодействия

Использование

  • Код: https://github.com/inclusionAI/Duo(Apache-2.0);权重:抱脸 inclusionAI/Duo-1.2-causal-base (полный пакет, включающий модели ASR и выравнивания)
  • Создайте два виртуальных окружения для модели и голоса, выполните hf download inclusionAI/Duo-1.2-causal-base --local-dir weights, скопируйте и измените configs/inference.example.json, запустите run_demo.py --port 4173, а затем в веб-интерфейсе запишите или загрузите видео
  • Базовая модель по умолчанию использует сэмплирование за 50 шагов; чтобы использовать версию с дистилляцией за 4 шага, сначала загрузите базовую модель 1.0, а затем перезапишите веса Duo-1.0-distill в тот же каталог

Риски

  • Версия v1 является предварительной версией для исследователей; в README указано, что в настоящее время поддерживается только базовое аудио- и видеообщение; визуальное взаимодействие, упомянутое в аннотации, будет доступно только в Duo v2
  • Конфигурация по умолчанию требует двух видеокарт CUDA (одна для Intent и кодеков, другая для Realization); веса распространяются под лицензией сообщества MiniMax H3
  • Авторы не предоставили количественные метрики оценки; данный пункт не был выполнен

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ