WeMM-Video : le modèle de compréhension vidéo open source de Tencent qui lit simultanément l'audio et la vidéo

La version MoE de la série WeMM-Video de Tencent (modèles denses de 2B, 4B, 9B et MoE de 35B-A3B), avec un total de 35B de paramètres et environ 3B de paramètres activés, accepte en entrée du texte, des images, de l'audio et de la vidéo, et produit en sortie du texte en chinois ou en anglais. Les encodeurs visuels et audio convertissent les médias en tokens transmis au modèle de langage ; les images de la vidéo sont horodatées, permettant de décrire les événements, de transcrire la parole et de raisonner sur ce qui est vu et entendu en s'appuyant sur la piste audio originale ; deux modes sont disponibles : réponse directe et réflexion. L'ensemble de la série a été pré-entraîné sur environ 1.2 billions de tokens multimodaux, avec un post-entraînement utilisant l'OPD multi-enseignants, le MrDPO anti-répétition et un apprentissage par renforcement spécialisé ; rapport technique sur arXiv 2611.26409.

Titre original : tencent/WeMM-Video-35BA3B

La version MoE de la série WeMM-Video de Tencent (modèles denses de 2B, 4B, 9B et MoE de 35B-A3B), avec un total de 35B de paramètres et environ 3B de paramètres activés, accepte en entrée du texte, des images, de l'audio et de la vidéo, et produit en sortie du texte en chinois ou en anglais. Les encodeurs visuels et audio convertissent les médias en tokens transmis au modèle de langage ; les images de la vidéo sont horodatées, permettant de décrire les événements, de transcrire la parole et de raisonner sur ce qui est vu et entendu en s'appuyant sur la piste audio originale ; deux modes sont disponibles : réponse directe et réflexion. L'ensemble de la série a été pré-entraîné sur environ 1.2 billions de tokens multimodaux, avec un post-entraînement utilisant l'OPD multi-enseignants, le MrDPO anti-répétition et un apprentissage par renforcement spécialisé ; rapport technique sur arXiv 2611.26409.

Pourquoi c'est important La plupart des modèles vidéo open source ne regardent que l'image ; celui-ci lit simultanément l'audio original et les images horodatées, effectuant la description, la transcription et le raisonnement en une seule passe, avec seulement environ trois milliards de paramètres activés par token

Score de montée 27 · J'aime 27 · Téléchargements 239

Raisons

  • Tencent affirme atteindre le meilleur niveau open source en compréhension vidéo multimodale, surpassant des modèles fermés comme Qwen3.5-Omni-Flash et Seed2.0-Mini-0428, et réduisant l'écart avec Gemini-3.0-Flash ; les versions 35B-A3B et 9B sont en tête en compréhension audio générale (les résultats sont présentés sous forme de graphiques)
  • Tencent publie simultanément quatre versions quantifiées : FP8 Block128, AWQ W4A16, GGUF Q4_K_M et NVFP4 W4A16 ; les modèles de la même série 2B / 4B / 9B disposent également de ces versions quantifiées
  • Licence Apache 2.0, les composants tiers restent sous leurs licences respectives

Utilisation

  • Chargement via transformers de tencent/WeMM-Video-35BA3B (trust_remote_code=True) ; exécutez depuis la racine du dépôt WeMM-Video la commande python examples/transformers_video.py --model tencent/WeMM-Video-35BA3B --video clip.mp4 --prompt "…" pour traiter simultanément l'image et l'audio original
  • Pour le déploiement, installez d'abord les patchs officiels vLLM / SGLang ; la commande d'exemple utilise un parallélisme tensoriel sur deux cartes, un contexte de 8192, expose une interface compatible OpenAI, active la piste audio en définissant video_url.use_audio sur true, et active le mode réflexion via chat_template_kwargs.enable_thinking
  • Si la mémoire GPU est insuffisante, optez pour les modèles de la même série 9B, 4B, 2B ou les versions quantifiées

Risques

  • Les poids BF16 pèsent environ 67.39 GiB, et l'exemple officiel utilise deux cartes ; vLLM / SGLang nécessitent impérativement les patchs WeMM et l'exécution du code fourni dans le dépôt via trust_remote_code
  • Les performances sont auto-évaluées par Tencent, la fiche du modèle ne contient que des graphiques sans chiffres détaillés ; cette entrée n'a pas été testée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA