Llama-V-JEPA-LM — это серия видео-языковых моделей от Кима и соавторов (статья arXiv 2611.17831), о более компактных версиях, таких как 1.7B, мы рассказывали ранее. Самая крупная версия в этой серии подключает замороженный видеоэнкодер Meta V-JEPA 2.1 ViT-G к полностью дообученной модели Qwen3-30B-A3B через «спектральный мост». Общее количество параметров составляет 32.39B, для каждого видео извлекается 32 кадров, которые преобразуются в 1,024 визуальных токенов, причем их количество не зависит от входного разрешения. Помимо общедоступных наборов данных для вопросов и ответов о видео, обучающие данные включают «контрфактические» примеры с гарантированными ответами, созданные с помощью таких преобразований, как воспроизведение в обратном порядке, зеркальное отражение и изменение скорости, чтобы научить модель анализировать изменения в кадре. Авторы сообщают, что средняя оценка по 12 пунктам из 11 видео-бенчмарков составляет 69.49, что выше, чем у MiniCPM-V-4.7-35B-A3B с результатом 66.41 и Qwen3-VL-30B-A3B с результатом 63.33.
Почему это важно Авторы сообщают, что средняя оценка выше, чем у модели Qwen3-VL-30B-A3B на той же базовой архитектуре, при этом наибольший разрыв наблюдается на самостоятельно созданных тестовых выборках с воспроизведением в обратном порядке, изменением скорости и зеркальным отражением.
Лайки на Hugging Face 12 · Рост рейтинга на Hugging Face 12 · Загрузки на Hugging Face 3
Лицензия: разрешено коммерческое использование · ComfyUI: недоступно · Видеопамять: ≈78 ГБ (оценка)
Причины
- Приложены статья, технический отчет и онлайн-демо на Hugging Face
- В таблице оценок также указаны пункты, где модель показывает худшие результаты, например, баллы за видео в MotionBench и Vinoground
Использование
- Установите зависимости, включая transformers версии 5 и выше, safetensors, eva-decord и другие, загрузите модель с помощью AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16); используйте model.chat("my_video.mp4", "вопрос") для свободных ответов и model.choose для вопросов с вариантами ответов; для длинных видео используйте start_sec / end_sec для выбора фрагмента
Риски
- Весы занимают около 65 ГБ, авторы рекомендуют видеокарту с 80 ГБ видеопамяти (авторы зафиксировали пиковое потребление 61.0 ГиБ на одно видео); требуется trust_remote_code
- Код и веса обозначены лицензией Apache-2.0, но многие обучающие наборы данных запрещают коммерческое использование; авторы уточняют, что веса выпущены для исследовательских и некоммерческих целей и подчиняются политике использования Llama 3.2
- Модель обучена только на английском языке; распознавание текста (OCR), работа с одиночными изображениями и длинными видео не являются целевыми задачами