WeMM-Video: 텐센트가 오픈소스로 공개한 오디오·비디오 올모달 이해 모델

텐센트의 한·영 이중 언어 올모달 파운데이션 모델 시리즈로, 텍스트, 이미지, 오디오 및 비디오(원본 사운드 포함 가능)를 입력받아 텍스트를 출력합니다. 2B, 4B, 9B의 밀집(dense) 모델과 35B-A3B의 혼합 전문가(MoE) 모델을 제공하며, 직접 답변하는 instruct 모드와 단계별 추론을 수행하는 thinking 모드를 지원합니다. 논문에서는 약 1.2조 개의 멀티모달 토큰으로 구성된 데이터셋에서 점진적 사전 학습을 진행했으며, 후속 학습에는 다중 교사 온라인 증류(distillation), 반복 현상을 억제하는 MrDPO 및 특정 목적의 강화 학습을 활용했다고 밝히고 있습니다. 총 120개 이상의 벤치마크에서 성능을 평가했습니다.

원제: WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding

텐센트의 한·영 이중 언어 올모달 파운데이션 모델 시리즈로, 텍스트, 이미지, 오디오 및 비디오(원본 사운드 포함 가능)를 입력받아 텍스트를 출력합니다. 2B, 4B, 9B의 밀집(dense) 모델과 35B-A3B의 혼합 전문가(MoE) 모델을 제공하며, 직접 답변하는 instruct 모드와 단계별 추론을 수행하는 thinking 모드를 지원합니다. 논문에서는 약 1.2조 개의 멀티모달 토큰으로 구성된 데이터셋에서 점진적 사전 학습을 진행했으며, 후속 학습에는 다중 교사 온라인 증류(distillation), 반복 현상을 억제하는 MrDPO 및 특정 목적의 강화 학습을 활용했다고 밝히고 있습니다. 총 120개 이상의 벤치마크에서 성능을 평가했습니다.

왜 중요한가 대부분의 오픈소스 비디오 모델은 시각 정보만 처리하지만, 이 모델은 원본 오디오 트랙까지 이해 범위에 포함시킵니다. 4가지 크기와 다양한 양자화 버전을 한 번에 공개하여 소형 GPU부터 서버 환경까지 폭넓게 선택할 수 있습니다.

좋아요 39 · 코드 스타 수 38

이유

  • 논문에서는 35B-A3B 모델이 올모달 비디오 이해 분야에서 오픈소스 최고 성능을 달성했다고 주장하며, Qwen3.5-Omni-Flash 및 Seed2.0-Mini-0428를 능가하고 Gemini-3.0-Flash와의 격차가 좁혀지고 있음을 강조합니다. 또한 9B 버전은 더 큰 모델인 Qwen3-Omni-30B-A3B-Instruct보다 우수한 성능을 보입니다.
  • 각 크기마다 BF16, FP8, AWQ W4A16, GGUF Q4_K_M, NVFP4 등 5가지 형식을 제공합니다.
  • 평가 및 재현 절차가 포함되어 있으며, 소스 코드는 Apache-2.0 라이선스를 따르고 Hugging Face 가중치 페이지에도 Apache-2.0으로 명시되어 있습니다.

사용법

  • 코드: https://github.com/Tencent/WeMM-Video;权重:https://huggingface.co/tencent/WeMM-Video-2B(另有 4B, 9B, 35BA3B)
  • Transformers: Python 3.12, CUDA 12.9 드라이버 및 FFmpeg이 필요하며, torch 2.10.0, transformers 5.2.0 등을 설치합니다. AutoModelForImageTextToText로 로드할 때 trust_remote_code=True가 필요하며, enable_thinking 파라미터로 thinking 모드를 제어합니다.
  • 서비스 배포는 저장소에서 패치된 vLLM(BF16 / FP8 / AWQ / NVFP4 지원) 또는 SGLang(BF16)을 사용하며, Docker 이미지를 제공합니다. examples/chat.py에는 텍스트, 이미지, 오디오, 비디오 및 오디오가 포함된 비디오 처리 예제가 있습니다.

리스크

  • README에 따르면 모델 라이선스는 각 체크포인트의 Hugging Face 카드를 기준으로 하며, 크기별·형식별로 별도로 확인해야 합니다.
  • 사용자 정의 모델 코드와 패치된 추론 프레임워크를 사용해야 하므로, 공식적으로는 코드를 먼저 검토하고 revision을 특정 커밋으로 고정할 것을 권장합니다. 비교 성적은 저자가 자체적으로 측정한 결과입니다. 본 항목은 실행되지 않았습니다.

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기