Titre original : WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding
La série de modèles de base multimodaux bilingues chinois-anglais de Tencent, qui prend en entrée du texte, des images, de l'audio et de la vidéo (avec ou sans audio original) et produit du texte en sortie ; elle comprend des modèles denses de 2B, 4B et 9B, ainsi qu'un modèle à experts mélangés de 35B-A3B, prenant en charge un mode instruct pour des réponses directes et un mode de réflexion pour un raisonnement étape par étape. L'article indique un pré-entraînement progressif sur un corpus multimodal d'environ 1.2 billions de tokens, avec une post-formation utilisant la distillation en ligne multi-enseignants, MrDPO pour supprimer les répétitions et l'apprentissage par renforcement spécialisé, évalué sur plus de 120 benchmarks.
Pourquoi c'est important La plupart des modèles vidéo open source ne considèrent que l'image ; celui-ci intègre la piste audio originale dans la compréhension, propose quatre tailles et plusieurs versions quantifiées disponibles d'un coup, offrant des options allant des petites cartes graphiques aux serveurs
J'aime 39 · Étoiles du code 38
Raisons
- L'article indique que le modèle 35B-A3B atteint les meilleures performances open source en compréhension vidéo multimodale, dépassant Qwen3.5-Omni-Flash et Seed2.0-Mini-0428, et réduisant l'écart avec Gemini-3.0-Flash ; la version 9B dépasse le modèle plus grand Qwen3-Omni-30B-A3B-Instruct
- Chaque taille est disponible en cinq formats : BF16, FP8, AWQ W4A16, GGUF Q4_K_M et NVFP4
- Inclut les évaluations et le processus de reproduction ; le code source est sous licence Apache-2.0, et la page des poids sur Hugging Face indique Apache-2.0
Utilisation
- Code : https://github.com/Tencent/WeMM-Video;权重:https://huggingface.co/tencent/WeMM-Video-2B(另有 4B, 9B, 35BA3B)
- Transformers : Python 3.12, pilotes CUDA 12.9 et FFmpeg, installation de torch 2.10.0, transformers 5.2.0, etc. ; chargement via AutoModelForImageTextToText, nécessite trust_remote_code=True, enable_thinking contrôle le mode de réflexion
- Le déploiement de service utilise une version patchée de vLLM fournie par le dépôt (prenant en charge BF16 / FP8 / AWQ / NVFP4) ou SGLang (BF16), avec Docker fourni ; examples/chat.py contient des exemples pour le texte, les images, l'audio, la vidéo et la vidéo avec audio
Risques
- Le README indique que la licence du modèle est déterminée par la carte Hugging Face de chaque point de contrôle, nécessitant une vérification séparée pour chaque taille et chaque format
- L'utilisation nécessite du code de modèle personnalisé et des frameworks d'inférence patchés ; l'officiel recommande de vérifier le code au préalable et de figer la révision sur un commit spécifique ; les résultats comparatifs sont auto-évalués par les auteurs. Cette entrée n'a pas été exécutée