Llama-V-JEPA-LM-Qwen3-30B-A3B

Llama-V-JEPA-LM — это серия видео-языковых моделей от Кима и соавторов (статья arXiv 2611.17831), о более компактных версиях, таких как 1.7B, мы рассказывали ранее. Самая крупная версия в этой серии подключает замороженный видеоэнкодер Meta V-JEPA 2.1 ViT-G к полностью дообученной модели Qwen3-30B-A3B через «спектральный мост». Общее количество параметров составляет 32.39B, для каждого видео извлекается 32 кадров, которые преобразуются в 1,024 визуальных токенов, причем их количество не зависит от входного разрешения. Помимо общедоступных наборов данных для вопросов и ответов о видео, обучающие данные включают «контрфактические» примеры с гарантированными ответами, созданные с помощью таких преобразований, как воспроизведение в обратном порядке, зеркальное отражение и изменение скорости, чтобы научить модель анализировать изменения в кадре. Авторы сообщают, что средняя оценка по 12 пунктам из 11 видео-бенчмарков составляет 69.49, что выше, чем у MiniCPM-V-4.7-35B-A3B с результатом 66.41 и Qwen3-VL-30B-A3B с результатом 63.33.

Llama-V-JEPA-LM — это серия видео-языковых моделей от Кима и соавторов (статья arXiv 2611.17831), о более компактных версиях, таких как 1.7B, мы рассказывали ранее. Самая крупная версия в этой серии подключает замороженный видеоэнкодер Meta V-JEPA 2.1 ViT-G к полностью дообученной модели Qwen3-30B-A3B через «спектральный мост». Общее количество параметров составляет 32.39B, для каждого видео извлекается 32 кадров, которые преобразуются в 1,024 визуальных токенов, причем их количество не зависит от входного разрешения. Помимо общедоступных наборов данных для вопросов и ответов о видео, обучающие данные включают «контрфактические» примеры с гарантированными ответами, созданные с помощью таких преобразований, как воспроизведение в обратном порядке, зеркальное отражение и изменение скорости, чтобы научить модель анализировать изменения в кадре. Авторы сообщают, что средняя оценка по 12 пунктам из 11 видео-бенчмарков составляет 69.49, что выше, чем у MiniCPM-V-4.7-35B-A3B с результатом 66.41 и Qwen3-VL-30B-A3B с результатом 63.33.

Почему это важно Авторы сообщают, что средняя оценка выше, чем у модели Qwen3-VL-30B-A3B на той же базовой архитектуре, при этом наибольший разрыв наблюдается на самостоятельно созданных тестовых выборках с воспроизведением в обратном порядке, изменением скорости и зеркальным отражением.

Лайки на Hugging Face 12 · Рост рейтинга на Hugging Face 12 · Загрузки на Hugging Face 3

Лицензия: разрешено коммерческое использование · ComfyUI: недоступно · Видеопамять: ≈78 ГБ (оценка)

Причины

  • Приложены статья, технический отчет и онлайн-демо на Hugging Face
  • В таблице оценок также указаны пункты, где модель показывает худшие результаты, например, баллы за видео в MotionBench и Vinoground

Использование

  • Установите зависимости, включая transformers версии 5 и выше, safetensors, eva-decord и другие, загрузите модель с помощью AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16); используйте model.chat("my_video.mp4", "вопрос") для свободных ответов и model.choose для вопросов с вариантами ответов; для длинных видео используйте start_sec / end_sec для выбора фрагмента

Риски

  • Весы занимают около 65 ГБ, авторы рекомендуют видеокарту с 80 ГБ видеопамяти (авторы зафиксировали пиковое потребление 61.0 ГиБ на одно видео); требуется trust_remote_code
  • Код и веса обозначены лицензией Apache-2.0, но многие обучающие наборы данных запрещают коммерческое использование; авторы уточняют, что веса выпущены для исследовательских и некоммерческих целей и подчиняются политике использования Llama 3.2
  • Модель обучена только на английском языке; распознавание текста (OCR), работа с одиночными изображениями и длинными видео не являются целевыми задачами

Открыть

抱脸 world-model 标签

Открыть последние новости ИИ