Duo는 Intent와 Realization 두 모듈로 구성됩니다. 사용자 영상은 음성 인식과 강제 정렬을 통해 조각으로 나뉘어 Intent로 전달되며, Intent는 통합된 타임라인에서 응답 여부 및 응답 방식을 결정한 후 Realization을 유도하여 어시스턴트의 오디오 및 비디오를 생성합니다. 이번에는 Duo-1.0의 인과적 기본 버전, 4단계 증류 버전, FP8 양자화 버전과 화질이 개선된 Duo-1.2 인과적 기본 버전을 공개했습니다. 가중치는 MiniMax H3에서 초기화되며, 메인 브랜치는 연구용 오프라인 프로세스를 지원하고, vLLM-Omni 및 SGLang-Omni 브랜치는 실시간 스트리밍 배포를 제공합니다.
왜 중요한가 대부분의 생성 모델은 사용자가 말을 마칠 때까지 결과를 기다려야 하지만, 이 모델은 자기회귀적 Intent 모듈을 사용하여 언제, 어떻게 응답할지 결정한 후 생성 모듈을 구동하여 오디오 및 비디오를 출력하며, 스트리밍 배포를 오픈소스로 공개했습니다.
얼굴 감싸기 좋아요 4 · 얼굴 감싸기 상승 점수 4 · 얼굴 감싸기 다운로드 0
라이선스: 조건부 상업적 사용 가능 · ComfyUI: 현재 없음 · VRAM: VRAM 미표기
지역 라이선스: MiniMax H3 오픈 가중치 라이선스는 EU, 영국, 한국, 미국(LICENSE의 Excluded Territories)을 포함하지 않으며, 이 네 지역에서는 MiniMax의 별도 허가를 받아야 합니다.
이유
- 논문, 기술 보고서, 브라우저 데모 콘솔 및 Hugging Face 온라인 데모 포함
- 코드는 Apache-2.0 라이선스이며, ModelScope에서 가중치를 동기화하여 제공
사용법
- github.com/inclusionAI/Duo를 클론하고, README에 따라 모델과 음성용 Python 환경을 각각 설정합니다. hf download inclusionAI/Duo-1.2-causal-base --local-dir weights를 실행한 후, configs/inference.json을 수정하고 run_demo.py --port 4173을 실행하여 웹에서 영상을 녹화하고 응답을 확인합니다.
리스크
- 프리뷰 버전으로, 현재는 기본 오디오 및 비디오 대화만 지원하며 시각적 상호작용은 v2을 기다려야 합니다. 기본 오프라인 구성에는 2개의 CUDA GPU가 필요합니다.
- 가중치는 MiniMax H3 커뮤니티 라이선스를 따르며, EU, 영국, 한국 및 미국에는 적용되지 않습니다.