원제: tencent/WeMM-Video-35BA3B
Tencent WeMM-Video 시리즈(2B, 4B, 9B 밀집 모델 및 35B-A3B MoE) 중 MoE 버전으로, 총 파라미터는 35B이며 활성 파라미터는 약 3B입니다. 텍스트, 이미지, 오디오, 비디오를 입력으로 받아 중국어 또는 영어 텍스트를 출력합니다. 비주얼 및 오디오 인코더가 미디어를 토큰으로 변환하여 언어 모델에 전달하며, 비디오 프레임에는 타임스탬프가 포함되어 원본 사운드트랙과 결합하여 이벤트를 설명하고, 음성을 전사하며, 보고 듣는 내용을 추론할 수 있습니다. 직접 답변 모드와 사고 모드 두 가지가 있습니다. 전체 시리즈는 약 1.2조 개의 멀티모달 토큰으로 사전 학습되었으며, 후속 학습에는 다중 교사 OPD, 반복 방지 MrDPO, 그리고 전문 강화 학습이 사용되었습니다. 기술 보고서는 arXiv 2611.26409에 있습니다.
왜 중요한가 대부분의 오픈소스 비디오 모델은 화면만 보지만, 이 모델은 원본 사운드와 타임스탬프가 포함된 프레임을 함께 읽어 설명, 전사, 추론을 한 번에 수행하며, 토큰당 약 30억 개의 파라미터만 활성화합니다
상승 점수 27 · 좋아요 27 · 다운로드 수 239
이유
- 공식적으로 올모달 비디오 이해에서 오픈소스 최고 수준에 도달했다고 주장하며, Qwen3.5-Omni-Flash, Seed2.0-Mini-0428 등 폐쇄형 모델을 능가하고 Gemini-3.0-Flash와의 격차를 좁혔습니다. 35B-A3B 및 9B는 범용 오디오 이해에서 우위를 점합니다(성적은 차트로 제공됨)
- 공식적으로 FP8 Block128, AWQ W4A16, GGUF Q4_K_M, NVFP4 W4A16의 네 가지 양자화 버전을 동시에 공개했으며, 같은 시리즈의 2B / 4B / 9B도 동일한 양자화 버전을 제공합니다
- Apache 2.0 라이선스이며, 서드파티 구성 요소는 각자의 원래 라이선스를 따릅니다
사용법
- transformers로 tencent/WeMM-Video-35BA3B를 로드합니다(trust_remote_code=True). WeMM-Video 저장소 루트 디렉터리에서 python examples/transformers_video.py --model tencent/WeMM-Video-35BA3B --video clip.mp4 --prompt "…"을 실행하여 화면과 원본 사운드를 동시에 처리합니다
- 배포 시 공식 vLLM / SGLang 패치를 먼저 설치해야 합니다. 예제 명령어는 2-GPU 텐서 병렬 처리, 컨텍스트 길이 8192, OpenAI 호환 인터페이스를 열며, video_url.use_audio를 true로 설정하면 사운드트랙이 포함되고, chat_template_kwargs.enable_thinking을 통해 사고 모드를 활성화합니다
- VRAM이 부족할 경우 같은 시리즈의 9B, 4B, 2B 또는 양자화 버전으로 교체할 수 있습니다
리스크
- BF16 가중치는 약 67.39 GiB이며, 공식 예제는 2-GPU를 사용합니다. vLLM / SGLang에는 WeMM 패치가 필수이며, 저장소에 포함된 코드를 실행하기 위해 trust_remote_code를 사용해야 합니다
- 성능은 공식 자체 테스트 결과이며, 모델 카드에는 차트만 있고 항목별 수치는 없습니다. 이 항목은 실행되지 않았습니다