Llama-V-JEPA-LM 是 Kim 等人(论文 arXiv 2611.17831)的视频语言模型系列,前几期介绍过 1.7B 等小尺寸;这次的最大版把冻结的 Meta V-JEPA 2.1 ViT-G 视频编码器通过「谱桥」接到全量微调的 Qwen3-30B-A3B 上,总参数 32.39B,每段视频取 32 帧、转成 1,024 个视觉 token,数量与输入分辨率无关。训练数据除公开视频问答集外,还用倒放、镜像、变速等变换构造出答案确定的「反事实」样本,让模型学看画面怎么变。作者称在 11 个视频基准的 12 项平均分 69.49,高于 MiniCPM-V-4.7-35B-A3B 的 66.41 和 Qwen3-VL-30B-A3B 的 63.33。
为什么重要 作者称平均分高于同底座的 Qwen3-VL-30B-A3B,在自建的倒放、变速、镜像留出测试上差距最大。
抱脸点赞 12 · 抱脸上升分 12 · 抱脸下载 3
许可证:可商用 · ComfyUI:暂无 · 显存:≈78 GB 估算
理由
- 附论文、技术报告和抱脸在线演示
- 评测表也列出了它落后的项目,如 MotionBench 和 Vinoground 视频分
用法
- 装好 transformers 5 以上、safetensors、eva-decord 等依赖,用 AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16) 加载,model.chat("my_video.mp4", "问题") 自由回答、model.choose 做选择题;长视频用 start_sec / end_sec 选片段
风险
- 权重约 65 GB,作者建议 80 GB 显存的显卡(作者测得单段峰值 61.0 GiB);需要 trust_remote_code
- 代码和权重标 Apache-2.0,但多个训练数据集禁止商用,作者说明权重按研究和非商用发布,并受 Llama 3.2 使用政策约束
- 只训练了英文;OCR、单张图片和长视频不是它的目标