WeMM-Video:腾讯开源的音视频全模态理解模型

腾讯的中英双语全模态基础模型系列,输入文字、图片、音频和视频(可带原声),输出文字;有 2B、4B、9B 稠密模型和 35B-A3B 混合专家模型,支持直接回答的 instruct 模式和逐步推理的思考模式。论文称在约 1.2 万亿 token 的多模态语料上渐进预训练,后训练用了多教师在线蒸馏、抑制重复的 MrDPO 和专项强化学习,在 120 多个基准上评测。

原题:WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding

腾讯的中英双语全模态基础模型系列,输入文字、图片、音频和视频(可带原声),输出文字;有 2B、4B、9B 稠密模型和 35B-A3B 混合专家模型,支持直接回答的 instruct 模式和逐步推理的思考模式。论文称在约 1.2 万亿 token 的多模态语料上渐进预训练,后训练用了多教师在线蒸馏、抑制重复的 MrDPO 和专项强化学习,在 120 多个基准上评测。

为什么重要 开源视频模型多数只看画面;它把原声音轨一起纳入理解,四个尺寸和多种量化版一次放齐,从小显卡到服务器都有得选

点赞 39 · 代码星数 38

理由

  • 论文称 35B-A3B 在全模态视频理解上达到开源最佳,超过 Qwen3.5-Omni-Flash、Seed2.0-Mini-0428,与 Gemini-3.0-Flash 的差距在缩小;9B 版超过更大的 Qwen3-Omni-30B-A3B-Instruct
  • 每个尺寸都放了 BF16、FP8、AWQ W4A16、GGUF Q4_K_M、NVFP4 五种格式
  • 附评测和复现流程;源码 Apache-2.0,抱脸权重页标 Apache-2.0

用法

  • 代码:https://github.com/Tencent/WeMM-Video;权重:https://huggingface.co/tencent/WeMM-Video-2B(另有 4B、9B、35BA3B)
  • Transformers:Python 3.12、CUDA 12.9 驱动和 FFmpeg,装 torch 2.10.0、transformers 5.2.0 等;AutoModelForImageTextToText 加载,需 trust_remote_code=True,enable_thinking 控制思考模式
  • 服务部署用仓库打过补丁的 vLLM(支持 BF16 / FP8 / AWQ / NVFP4)或 SGLang(BF16),提供 Docker;examples/chat.py 有文字、图片、音频、视频、带音视频的示例

风险

  • README 说模型许可以每个检查点的抱脸卡为准,各尺寸各格式需分别核对
  • 要用自定义模型代码和打补丁的推理框架,官方建议先审代码并把 revision 固定到某个提交;对比成绩为作者自测。本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态