Duo: 보고 듣는 동시에 실시간으로 오디오·비디오로 응답하는 전이중(full-duplex) 세계 모델

저자들은 기존 세계 모델들이 주로 물리적 현실을 시뮬레이션하며 추론과 결정을 외부 제어 요소로 취급한다고 본다. Duo v1은 두 부분을 모두 모델 내부에 통합한다: Intent 모듈은 자기회귀 방식으로 지속적으로 추론하여 언제 상호작용에 참여할지 결정하고, Realization 모듈은 일관된 오디오·비디오 행동을 생성한다. 두 모듈은 블록 단위로 조건을 구성하고 통합된 타임라인에서 토큰을 동기화하며, 모듈별 전용 어텐션 마스크를 사용하여 미래 입력을 참조하지 않도록 보장한다. 학습 시에는 '이중 전개 증류(dual unrolling distillation)' 기법을 적용하여 각 모듈이 자체 생성한 Intent 토큰과 합성된 오디오·비디오 히스토리를 바탕으로 학습함으로써 추론 시의 분포 편이를 완화한다. 저자들은 사용자가 자연스러운 대화와 중단을 할 수 있으며, 실제 물체를 보여주거나 가상 환경을 변경하고 어시스턴트를 지시하거나 오디오·비디오 게임을 즐길 수 있어 마우스나 키보드가 필요 없다고 설명한다.

원제: Duo: A Reciprocal World Model for Full-Duplex Interaction

저자들은 기존 세계 모델들이 주로 물리적 현실을 시뮬레이션하며 추론과 결정을 외부 제어 요소로 취급한다고 본다. Duo v1은 두 부분을 모두 모델 내부에 통합한다: Intent 모듈은 자기회귀 방식으로 지속적으로 추론하여 언제 상호작용에 참여할지 결정하고, Realization 모듈은 일관된 오디오·비디오 행동을 생성한다. 두 모듈은 블록 단위로 조건을 구성하고 통합된 타임라인에서 토큰을 동기화하며, 모듈별 전용 어텐션 마스크를 사용하여 미래 입력을 참조하지 않도록 보장한다. 학습 시에는 '이중 전개 증류(dual unrolling distillation)' 기법을 적용하여 각 모듈이 자체 생성한 Intent 토큰과 합성된 오디오·비디오 히스토리를 바탕으로 학습함으로써 추론 시의 분포 편이를 완화한다. 저자들은 사용자가 자연스러운 대화와 중단을 할 수 있으며, 실제 물체를 보여주거나 가상 환경을 변경하고 어시스턴트를 지시하거나 오디오·비디오 게임을 즐길 수 있어 마우스나 키보드가 필요 없다고 설명한다.

왜 중요한가 '무엇을 하고 싶은지'와 '어떻게 표현할지'를 하나의 모델과 하나의 타임라인 안에 통합함으로써, 상호작용 시 자연스러운 끼어들기와 중단이 가능하며 더 이상 모든 말을 다 들은 후에야 생성하는 방식이 아님

좋아요 36 · 코드 스타 수 27

이유

  • 네 가지 가중치 공개: Duo-1.0 인과적 기반 모델, 4 단계 증류 버전, 양자화 버전, 그리고 화질 개선된 Duo-1.2 인과적 기반 모델; Realization 가중치는 MiniMax H3에서 초기화한 후 재학습됨
  • main 브랜치는 연구용 오프라인 파이프라인(녹화된 비디오 → Qwen3-ASR 전사 정렬 → Intent → Realization → 오디오·비디오 인코딩/디코딩)을 제공함; inference/vllm-omni-duo(권장) 및 inference/sglang-omni-duo 브랜치는 실시간 스트리밍 배포를 지원함
  • 프론트엔드에는 가중치를 로드하지 않는 미리보기 모드가 있어 먼저 인터페이스를 확인할 수 있음

사용법

  • 코드: https://github.com/inclusionAI/Duo(Apache-2.0);权重:抱脸 inclusionAI/Duo-1.2-causal-base (ASR 및 정렬 모델이 포함된 전체 패키지)
  • 모델과 음성용 가상 환경 두 개를 생성하고, hf download inclusionAI/Duo-1.2-causal-base --local-dir weights 명령을 실행한 후 configs/inference.example.json 파일을 복사하여 수정하고, run_demo.py --port 4173을 실행한 뒤 웹 페이지에서 비디오를 녹화하거나 업로드함
  • 기반 모델은 기본적으로 50 단계 샘플링을 사용; 4 단계 증류 버전을 사용하려면 먼저 1.0 기반 모델을 다운로드한 후 Duo-1.0-distill 파일을 동일한 디렉터리에 덮어씀

리스크

  • v1은 연구자를 위한 프리뷰 버전으로, README에 따르면 현재 기본 오디오·비디오 대화만 지원됨; 초록에서 언급된 시각적 상호작용은 Duo v2을 기다려야 함
  • 기본 구성은 두 개의 CUDA GPU가 필요함(Intent 및 인코딩/디코딩용 하나, Realization용 하나); 가중치는 MiniMax H3 커뮤니티 라이선스를 따름
  • 저자들은 정량적 평가 수치를 제시하지 않았으며, 본 항목은 실행되지 않음

열기 · 코드 · 논문 페이지 열기

Hugging Face Daily Papers

최신 AI 소식 보기