WeMM-Video:腾讯开源的音画一起读的视频理解模型

腾讯 WeMM-Video 系列(2B、4B、9B 稠密模型和 35B-A3B MoE)里的 MoE 版本,总参 35B、激活约 3B,输入文字、图片、音频和视频,输出中文或英文文字。视觉和音频编码器把媒体转成 token 交给语言模型,视频帧带时间戳,可以结合原声音轨描述事件、转写语音、推理看到和听到的内容;有直接回答和思考两种模式。全系约 1.2 万亿多模态 token 预训练,后训练用多教师 OPD、抗复读的 MrDPO 和专项强化学习,技术报告 arXiv 2611.26409。

原题:tencent/WeMM-Video-35BA3B

腾讯 WeMM-Video 系列(2B、4B、9B 稠密模型和 35B-A3B MoE)里的 MoE 版本,总参 35B、激活约 3B,输入文字、图片、音频和视频,输出中文或英文文字。视觉和音频编码器把媒体转成 token 交给语言模型,视频帧带时间戳,可以结合原声音轨描述事件、转写语音、推理看到和听到的内容;有直接回答和思考两种模式。全系约 1.2 万亿多模态 token 预训练,后训练用多教师 OPD、抗复读的 MrDPO 和专项强化学习,技术报告 arXiv 2611.26409。

为什么重要 多数开源视频模型只看画面;它把原声和带时间戳的帧一起读,描述、转写、推理一次做完,每词只激活约三十亿参数

上升分 27 · 点赞 27 · 下载量 239

理由

  • 官方称在全模态视频理解上达到开源最好水平,超过 Qwen3.5-Omni-Flash、Seed2.0-Mini-0428 等闭源模型,与 Gemini-3.0-Flash 的差距缩小;35B-A3B 和 9B 在通用音频理解上领先(成绩以图表给出)
  • 官方同时放出 FP8 Block128、AWQ W4A16、GGUF Q4_K_M、NVFP4 W4A16 四种量化版,同系 2B / 4B / 9B 也有同样的量化版
  • Apache 2.0 许可,第三方组件按各自原许可

用法

  • transformers 加载 tencent/WeMM-Video-35BA3B(trust_remote_code=True);在 WeMM-Video 仓库根目录运行 python examples/transformers_video.py --model tencent/WeMM-Video-35BA3B --video clip.mp4 --prompt "…",同时处理画面和原声
  • 部署先装官方的 vLLM / SGLang 补丁;示例命令为两卡张量并行、上下文 8192,开放 OpenAI 兼容接口,video_url.use_audio 设为 true 即带音轨,chat_template_kwargs.enable_thinking 开思考模式
  • 显存不够可换同系 9B、4B、2B 或量化版

风险

  • BF16 权重约 67.39 GiB,官方示例用两张卡;vLLM / SGLang 必须打 WeMM 补丁,并要用 trust_remote_code 运行仓库自带代码
  • 成绩为官方自测,模型卡里只有图表、没有逐项数字;本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态