WeMM-Video:Tencentがオープンソース化した、音声と映像を同時に読み解く動画理解モデル

Tencent WeMM-Video シリーズ(2B、4B、9B の密モデルと 35B-A3B MoE)における MoE バージョン。総パラメータ数は 35B、アクティブパラメータ数は約 3B。テキスト、画像、音声、動画をインプットとして受け取り、中国語または英語のテキストをアウトプットとして出力する。視覚および音声エンコーダがメディアをトークンに変換して言語モデルに渡す仕組みで、動画フレームにはタイムスタンプが付与されており、原音トラックと組み合わせてイベントの記述、音声の文字起こし、視覚と聴覚情報の推論を行うことが可能。直接回答モードと思考モードの2種類が存在する。全シリーズで約 1.2 兆個のマルチモーダルトークンによる事前学習が行われており、後処理段階ではマルチ教師OPD、反復抑制を目的としたMrDPO、および専門的な強化学習が採用されている。技術レポートは arXiv 2611.26409 を参照。

原題:tencent/WeMM-Video-35BA3B

Tencent WeMM-Video シリーズ(2B、4B、9B の密モデルと 35B-A3B MoE)における MoE バージョン。総パラメータ数は 35B、アクティブパラメータ数は約 3B。テキスト、画像、音声、動画をインプットとして受け取り、中国語または英語のテキストをアウトプットとして出力する。視覚および音声エンコーダがメディアをトークンに変換して言語モデルに渡す仕組みで、動画フレームにはタイムスタンプが付与されており、原音トラックと組み合わせてイベントの記述、音声の文字起こし、視覚と聴覚情報の推論を行うことが可能。直接回答モードと思考モードの2種類が存在する。全シリーズで約 1.2 兆個のマルチモーダルトークンによる事前学習が行われており、後処理段階ではマルチ教師OPD、反復抑制を目的としたMrDPO、および専門的な強化学習が採用されている。技術レポートは arXiv 2611.26409 を参照。

なぜ重要か 多くのオープンソース動画モデルは映像のみを参照するが、本モデルは原音とタイムスタンプ付きフレームを同時に読み解き、記述、文字起こし、推論を一度に処理する。トークンあたりアクティブパラメータ数は約30億に抑えられている

上昇スコア 27 · いいね数 27 · ダウンロード数 239

理由

  • 公式によれば、全モーダル動画理解においてオープンソース最高水準に達しており、Qwen3.5-Omni-Flash、Seed2.0-Mini-0428 などのクローズドソースモデルを上回り、Gemini-3.0-Flash との差も縮小している。35B-A3B および 9B は汎用音声理解においてリードしている(成績はグラフで提示)
  • 公式は同時に FP8 Block128、AWQ W4A16、GGUF Q4_K_M、NVFP4 W4A16 の4種類の量子化バージョンを公開しており、同シリーズの 2B / 4B / 9B にも同様の量子化バージョンが存在する
  • Apache 2.0 ライセンス。サードパーティコンポーネントはそれぞれの元のライセンスに従う

使い方

  • transformers を用いて tencent/WeMM-Video-35BA3B を読み込む(trust_remote_code=True)。WeMM-Video リポジトリのルートディレクトリで python examples/transformers\_video.py --model tencent/WeMM-Video-35BA3B --video clip.mp4 --prompt "…" を実行し、映像と原音を同時に処理する
  • デプロイ前に公式の vLLM / SGLang パッチをインストールする必要がある。サンプルコマンドでは2GPUでのテンソル並列化、コンテキスト長 8192、OpenAI互換インターフェースの開放が設定されている。video\_url.use\_audio を true に設定すると音声トラックが有効になり、chat\_template\_kwargs.enable\_thinking で思考モードを有効化できる
  • VRAMが不足する場合は、同シリーズの 9B、4B、2B または量子化バージョンに切り替える

リスク

  • BF16 重みは約 67.39 GiB あり、公式のサンプルでは2GPUを使用している。vLLM / SGLang では WeMM パッチの適用が必須であり、リポジトリ同梱のコードを実行するために trust_remote_code を有効にする必要がある
  • 成績は公式による自己評価であり、モデルカードにはグラフのみが記載されており、項目ごとの数値データは含まれていない。本項目では動作確認は行っていない

開く

Hugging Face Trending

最新の AI ニュースを見る