Оригинальное название: Duo: A Reciprocal World Model for Full-Duplex Interaction
Авторы считают, что существующие модели мира в основном имитируют физическую реальность, рассматривая рассуждения и принятие решений как внешнее управление. Duo v1 включает обе части в модель: модуль Intent непрерывно рассуждает авторегрессионно и решает, когда участвовать во взаимодействии; модуль Realization генерирует согласованные аудио- и видеоповедения. Оба модуля формируют условия по блокам, синхронизируют токены на единой временной шкале и используют специфичные для модулей маски внимания, чтобы исключить просмотр будущих входных данных; при обучении применяется «двойная разверточная дистилляция», позволяющая каждой стороне обучаться на собственных сгенерированных токенах Intent и синтетических аудио- и видеоданных, что снижает смещение распределения при инференсе. Авторы утверждают, что пользователи могут вести естественные разговоры и перебивать, демонстрировать физические объекты, изменять виртуальные сцены, отдавать команды ассистенту или играть в аудио- и видеоигры без использования мыши и клавиатуры.
Почему это важно Объединение «намерений» и «способа их реализации» в одной модели и на одной временной шкале позволяет естественно перебивать и прерывать собеседника во время взаимодействия, а не ждать завершения прослушивания перед генерацией ответа
Лайки 36 · Звезды на GitHub 27
Причины
- Выпущены четыре набора весов: каузальная базовая модель Duo-1.0, версия с дистилляцией за 4 шага, квантованная версия, а также каузальная базовая модель Duo-1.2 с улучшенным качеством изображения; веса модуля Realization инициализируются из MiniMax H3 и затем дообучаются
- Ветка main содержит исследовательский офлайн-конвейер (записанное видео → транскрипция и выравнивание через Qwen3-ASR → Intent → Realization → аудио- и видеокодеки); ветки inference/vllm-omni-duo (рекомендуется) и inference/sglang-omni-duo обеспечивают развертывание в режиме реального времени с потоковой передачей
- Во фронтенде предусмотрен режим предпросмотра без загрузки весов, позволяющий сначала ознакомиться с интерфейсом взаимодействия
Использование
- Код: https://github.com/inclusionAI/Duo(Apache-2.0);权重:抱脸 inclusionAI/Duo-1.2-causal-base (полный пакет, включающий модели ASR и выравнивания)
- Создайте два виртуальных окружения для модели и голоса, выполните hf download inclusionAI/Duo-1.2-causal-base --local-dir weights, скопируйте и измените configs/inference.example.json, запустите run_demo.py --port 4173, а затем в веб-интерфейсе запишите или загрузите видео
- Базовая модель по умолчанию использует сэмплирование за 50 шагов; чтобы использовать версию с дистилляцией за 4 шага, сначала загрузите базовую модель 1.0, а затем перезапишите веса Duo-1.0-distill в тот же каталог
Риски
- Версия v1 является предварительной версией для исследователей; в README указано, что в настоящее время поддерживается только базовое аудио- и видеообщение; визуальное взаимодействие, упомянутое в аннотации, будет доступно только в Duo v2
- Конфигурация по умолчанию требует двух видеокарт CUDA (одна для Intent и кодеков, другая для Realization); веса распространяются под лицензией сообщества MiniMax H3
- Авторы не предоставили количественные метрики оценки; данный пункт не был выполнен