原題:WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding
Tencentの中英バイリンガル全モダリティ基盤モデルシリーズ。テキスト、画像、音声、動画(原音付き可)を入力し、テキストを出力する。2B、4B、9Bの稠密モデルと、35B-A3Bの混合専門家(MoE)モデルを提供し、直接回答するinstructモードと、段階的に推論する思考モードに対応する。論文によれば、約1.2兆トークンのマルチモーダルコーパス上で漸進的な事前学習を行い、後学習にはマルチ教師オンライン蒸留、繰り返し抑制のためのMrDPO、および専門的な強化学習を採用し、120以上のベンチマークで評価されている。
なぜ重要か 多くのオープンソース動画モデルは映像のみを参照するが、本モデルは原音声トラックも理解に組み込んでいる。4つのサイズと複数の量子化バージョンが一括して公開されており、小規模GPUからサーバー環境まで選択肢が揃っている
いいね 39 · コードスター数 38
理由
- 論文によれば、35B-A3Bは全モダリティ動画理解においてオープンソース最高性能を達成し、Qwen3.5-Omni-FlashやSeed2.0-Mini-0428を上回り、Gemini-3.0-Flashとの差も縮まっている。9B版はより大型のQwen3-Omni-30B-A3B-Instructを上回っている
- 各サイズについて、BF16、FP8、AWQ W4A16、GGUF Q4_K_M、NVFP4の5種類のフォーマットが公開されている
- 評価と再現手順が付属している。ソースコードはApache-2.0ライセンスだが、Hugging Faceの重みページはApache-2.0と表記されている
使い方
- コード:https://github.com/Tencent/WeMM-Video;权重:https://huggingface.co/tencent/WeMM-Video-2B(另有 4B、9B、35BA3B)
- Transformers:Python 3.12、CUDA 12.9 ドライバ、FFmpegが必要。torch 2.10.0、transformers 5.2.0 などをインストールする。AutoModelForImageTextToTextで読み込み、trust_remote_code=Trueが必要であり、enable_thinkingで思考モードを制御する
- サービスデプロイには、リポジトリでパッチを適用したvLLM(BF16 / FP8 / AWQ / NVFP4に対応)またはSGLang(BF16)を使用し、Dockerを提供している。examples/chat.pyにはテキスト、画像、音声、動画、音声付き動画のサンプルが含まれている
リスク
- READMEによると、モデルのライセンスは各チェックポイントのHugging Faceカードに準拠するため、各サイズ・各フォーマットごとに個別の確認が必要である
- カスタムモデルコードとパッチ適用済みの推論フレームワークが必要であり、公式は事前にコードを監査し、revisionを特定のコミットに固定することを推奨している。比較成績は作者による自己測定である。本項目は実行されていない
開く · コード · Hugging Face論文ページ