Llama-V-JEPA-LM-Qwen3-30B-A3B

Llama-V-JEPA-LM は Kim らによる(論文 arXiv 2611.17831)動画言語モデルのシリーズであり、以前の記事では 1.7B などの小規模モデルを紹介しました。今回の最大版では、凍結された Meta V-JEPA 2.1 ViT-G 動画エンコーダを「スペクトルブリッジ」を通じて、フルファインチューニングされた Qwen3-30B-A3B に接続しています。総パラメータ数は 32.39B で、各動画から 32 フレームを取得し、入力解像度に依存しない 1,024 個のビジュアルトークンに変換します。学習データには公開されている動画質問応答セットに加え、逆再生、ミラー反転、速度変更などの変換を用いて答えが確定する「反事実」サンプルを構築し、モデルに映像の変化を学ばせています。著者によれば、11 個の動画ベンチマークのうち 12 項目の平均スコアは 69.49 であり、MiniCPM-V-4.7-35B-A3B の 66.41 や Qwen3-VL-30B-A3B の 63.33 を上回っています。

Llama-V-JEPA-LM は Kim らによる(論文 arXiv 2611.17831)動画言語モデルのシリーズであり、以前の記事では 1.7B などの小規模モデルを紹介しました。今回の最大版では、凍結された Meta V-JEPA 2.1 ViT-G 動画エンコーダを「スペクトルブリッジ」を通じて、フルファインチューニングされた Qwen3-30B-A3B に接続しています。総パラメータ数は 32.39B で、各動画から 32 フレームを取得し、入力解像度に依存しない 1,024 個のビジュアルトークンに変換します。学習データには公開されている動画質問応答セットに加え、逆再生、ミラー反転、速度変更などの変換を用いて答えが確定する「反事実」サンプルを構築し、モデルに映像の変化を学ばせています。著者によれば、11 個の動画ベンチマークのうち 12 項目の平均スコアは 69.49 であり、MiniCPM-V-4.7-35B-A3B の 66.41 や Qwen3-VL-30B-A3B の 63.33 を上回っています。

なぜ重要か 著者によれば、同じ基盤モデルを持つ Qwen3-VL-30B-A3B よりも平均スコアが高く、独自に作成した逆再生、速度変更、ミラー反転のホールドアウトテストで最も大きな差がついています。

Hugging Face のいいね数 12 · Hugging Face の上昇ポイント 12 · Hugging Face のダウンロード数 3

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:約78 GB(推定)

理由

  • 論文、技術レポート、および Hugging Face のオンラインデモが付属しています
  • 評価表には MotionBench や Vinoground 動画スコアなど、劣っている項目も記載されています

使い方

  • transformers 5 以上、safetensors、eva-decord などの依存関係をインストールし、AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16) で読み込みます。model.chat("my_video.mp4", "質問") で自由回答、model.choose で選択式問題に対応します。長い動画では start_sec / end_sec を使用してクリップを選択できます

リスク

  • 重みサイズは約 65 GB で、著者は 80 GB の VRAM を搭載した GPU を推奨しています(著者の測定では単一セグメントのピーク使用量は 61.0 GiB)。trust_remote_code が必要です
  • コードと重みは Apache-2.0 と表記されていますが、複数の学習データセットは商用利用が禁止されており、著者は重みが研究および非商用目的で公開され、Llama 3.2 の利用ポリシーに従うことを明記しています
  • 英語のみで訓練されています。OCR、単一画像、長い動画は対象外です

開く

抱脸 world-model 标签

最新の AI ニュースを見る