Llama-V-JEPA-LM は Kim らによる(論文 arXiv 2611.17831)動画言語モデルのシリーズであり、以前の記事では 1.7B などの小規模モデルを紹介しました。今回の最大版では、凍結された Meta V-JEPA 2.1 ViT-G 動画エンコーダを「スペクトルブリッジ」を通じて、フルファインチューニングされた Qwen3-30B-A3B に接続しています。総パラメータ数は 32.39B で、各動画から 32 フレームを取得し、入力解像度に依存しない 1,024 個のビジュアルトークンに変換します。学習データには公開されている動画質問応答セットに加え、逆再生、ミラー反転、速度変更などの変換を用いて答えが確定する「反事実」サンプルを構築し、モデルに映像の変化を学ばせています。著者によれば、11 個の動画ベンチマークのうち 12 項目の平均スコアは 69.49 であり、MiniCPM-V-4.7-35B-A3B の 66.41 や Qwen3-VL-30B-A3B の 63.33 を上回っています。
なぜ重要か 著者によれば、同じ基盤モデルを持つ Qwen3-VL-30B-A3B よりも平均スコアが高く、独自に作成した逆再生、速度変更、ミラー反転のホールドアウトテストで最も大きな差がついています。
Hugging Face のいいね数 12 · Hugging Face の上昇ポイント 12 · Hugging Face のダウンロード数 3
ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:約78 GB(推定)
理由
- 論文、技術レポート、および Hugging Face のオンラインデモが付属しています
- 評価表には MotionBench や Vinoground 動画スコアなど、劣っている項目も記載されています
使い方
- transformers 5 以上、safetensors、eva-decord などの依存関係をインストールし、AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16) で読み込みます。model.chat("my_video.mp4", "質問") で自由回答、model.choose で選択式問題に対応します。長い動画では start_sec / end_sec を使用してクリップを選択できます
リスク
- 重みサイズは約 65 GB で、著者は 80 GB の VRAM を搭載した GPU を推奨しています(著者の測定では単一セグメントのピーク使用量は 61.0 GiB)。trust_remote_code が必要です
- コードと重みは Apache-2.0 と表記されていますが、複数の学習データセットは商用利用が禁止されており、著者は重みが研究および非商用目的で公開され、Llama 3.2 の利用ポリシーに従うことを明記しています
- 英語のみで訓練されています。OCR、単一画像、長い動画は対象外です