Duo состоит из двух модулей: Intent и Realization. Видео пользователя сегментируется с помощью распознавания речи и принудительного выравнивания, после чего фрагменты подаются в модуль Intent. Модуль Intent на единой временной шкале определяет, нужно ли отвечать и как именно, а затем направляет модуль Realization для генерации аудио- и видеоконтента ассистента. В этом релизе представлены каузальная базовая версия Duo-1.0, версия с дистилляцией за 4 шагов и квантованная версия FP8, а также каузальная базовая версия Duo-1.2 с улучшенным качеством изображения. Веса инициализируются от MiniMax H3. Основная ветка предназначена для офлайн-процессов в исследовательских целях, а ветки vLLM-Omni и SGLang-Omni обеспечивают развертывание в режиме реального времени с потоковой передачей.
Почему это важно Большинство генеративных моделей ждут, пока вы закончите говорить, прежде чем выдать результат. Эта модель использует авторегрессионный модуль Intent для определения момента и способа ответа, а затем управляет генеративным модулем для создания аудио- и видеоконтента. Также был открыт исходный код для потокового развертывания.
Лайки с обнимашками 4 · Рост рейтинга за обнимашки 4 · Загрузки с обнимашками 0
Лицензия: условное коммерческое использование · ComfyUI: недоступно · Видеопамять: не указана
Лицензионные ограничения по регионам: Лицензия на открытые веса MiniMax H3 не распространяется на Европейский союз, Великобританию, Южную Корею и США (см. раздел Excluded Territories в файле LICENSE). Для использования в этих четырех регионах требуется отдельная лицензия от MiniMax.
Причины
- Приложены научная статья, технический отчет, консоль демонстрации в браузере и онлайн-демо на Hugging Face
- Код распространяется под лицензией Apache-2.0, веса также доступны через платформу ModelScope
Использование
- Клонируйте репозиторий github.com/inclusionAI/Duo, создайте два отдельных окружения Python для модели и обработки речи согласно README, выполните команду hf download inclusionAI/Duo-1.2-causal-base --local-dir weights, отредактируйте файл configs/inference.json, затем запустите run_demo.py --port 4173 и запишите видео в веб-интерфейсе, чтобы увидеть, как система реагирует
Риски
- Это предварительная версия, которая в настоящее время поддерживает только базовые аудио- и видеодиалоги; визуальное взаимодействие появится в версии v2. Конфигурация по умолчанию для офлайн-режима требует 2 видеокарт CUDA
- Веса распространяются по лицензии сообщества MiniMax H3, которая не применима в Европейском союзе, Великобритании, Южной Корее и США