原題:tencent/WeMM-Video-35BA3B
Tencent WeMM-Video シリーズ(2B、4B、9B の密モデルと 35B-A3B MoE)における MoE バージョン。総パラメータ数は 35B、アクティブパラメータ数は約 3B。テキスト、画像、音声、動画をインプットとして受け取り、中国語または英語のテキストをアウトプットとして出力する。視覚および音声エンコーダがメディアをトークンに変換して言語モデルに渡す仕組みで、動画フレームにはタイムスタンプが付与されており、原音トラックと組み合わせてイベントの記述、音声の文字起こし、視覚と聴覚情報の推論を行うことが可能。直接回答モードと思考モードの2種類が存在する。全シリーズで約 1.2 兆個のマルチモーダルトークンによる事前学習が行われており、後処理段階ではマルチ教師OPD、反復抑制を目的としたMrDPO、および専門的な強化学習が採用されている。技術レポートは arXiv 2611.26409 を参照。
なぜ重要か 多くのオープンソース動画モデルは映像のみを参照するが、本モデルは原音とタイムスタンプ付きフレームを同時に読み解き、記述、文字起こし、推論を一度に処理する。トークンあたりアクティブパラメータ数は約30億に抑えられている
上昇スコア 27 · いいね数 27 · ダウンロード数 239
理由
- 公式によれば、全モーダル動画理解においてオープンソース最高水準に達しており、Qwen3.5-Omni-Flash、Seed2.0-Mini-0428 などのクローズドソースモデルを上回り、Gemini-3.0-Flash との差も縮小している。35B-A3B および 9B は汎用音声理解においてリードしている(成績はグラフで提示)
- 公式は同時に FP8 Block128、AWQ W4A16、GGUF Q4_K_M、NVFP4 W4A16 の4種類の量子化バージョンを公開しており、同シリーズの 2B / 4B / 9B にも同様の量子化バージョンが存在する
- Apache 2.0 ライセンス。サードパーティコンポーネントはそれぞれの元のライセンスに従う
使い方
- transformers を用いて tencent/WeMM-Video-35BA3B を読み込む(trust_remote_code=True)。WeMM-Video リポジトリのルートディレクトリで
python examples/transformers\_video.py --model tencent/WeMM-Video-35BA3B --video clip.mp4 --prompt "…"を実行し、映像と原音を同時に処理する - デプロイ前に公式の vLLM / SGLang パッチをインストールする必要がある。サンプルコマンドでは2GPUでのテンソル並列化、コンテキスト長 8192、OpenAI互換インターフェースの開放が設定されている。
video\_url.use\_audioを true に設定すると音声トラックが有効になり、chat\_template\_kwargs.enable\_thinkingで思考モードを有効化できる - VRAMが不足する場合は、同シリーズの 9B、4B、2B または量子化バージョンに切り替える
リスク
- BF16 重みは約 67.39 GiB あり、公式のサンプルでは2GPUを使用している。vLLM / SGLang では WeMM パッチの適用が必須であり、リポジトリ同梱のコードを実行するために trust_remote_code を有効にする必要がある
- 成績は公式による自己評価であり、モデルカードにはグラフのみが記載されており、項目ごとの数値データは含まれていない。本項目では動作確認は行っていない