Llama-V-JEPA-LM-Qwen3-30B-A3B

Llama-V-JEPA-LM은 Kim 등(논문 arXiv 2611.17831)의 비디오 언어 모델 시리즈로, 이전 호에서는 1.7B 등 소형 모델을 소개한 바 있습니다. 이번 최대 버전은 동결된 Meta V-JEPA 2.1 ViT-G 비디오 인코더를 '스펙트럼 브리지'를 통해 전체 미세 조정된 Qwen3-30B-A3B에 연결하며, 총 매개변수는 32.39B입니다. 각 비디오에서 32 프레임을 추출하여 1,024개의 비주얼 토큰으로 변환하며, 이 수는 입력 해상도와 무관합니다. 학습 데이터에는 공개 비디오 질문 응답 세트 외에도 역재생, 미러링, 속도 변경 등 변환을 통해 답이 명확한 '반사실(counterfactual)' 샘플을 구성하여 모델이 화면 변화의 패턴을 학습하도록 했습니다. 저자들은 11개 비디오 벤치마크의 12개 항목 평균 점수가 69.49으로, MiniCPM-V-4.7-35B-A3B의 66.41 및 Qwen3-VL-30B-A3B의 63.33보다 높다고 주장합니다.

Llama-V-JEPA-LM은 Kim 등(논문 arXiv 2611.17831)의 비디오 언어 모델 시리즈로, 이전 호에서는 1.7B 등 소형 모델을 소개한 바 있습니다. 이번 최대 버전은 동결된 Meta V-JEPA 2.1 ViT-G 비디오 인코더를 '스펙트럼 브리지'를 통해 전체 미세 조정된 Qwen3-30B-A3B에 연결하며, 총 매개변수는 32.39B입니다. 각 비디오에서 32 프레임을 추출하여 1,024개의 비주얼 토큰으로 변환하며, 이 수는 입력 해상도와 무관합니다. 학습 데이터에는 공개 비디오 질문 응답 세트 외에도 역재생, 미러링, 속도 변경 등 변환을 통해 답이 명확한 '반사실(counterfactual)' 샘플을 구성하여 모델이 화면 변화의 패턴을 학습하도록 했습니다. 저자들은 11개 비디오 벤치마크의 12개 항목 평균 점수가 69.49으로, MiniCPM-V-4.7-35B-A3B의 66.41 및 Qwen3-VL-30B-A3B의 63.33보다 높다고 주장합니다.

왜 중요한가 저자들은 평균 점수가 동일한 기반 모델인 Qwen3-VL-30B-A3B보다 높으며, 자체 구축한 역재생, 속도 변경, 미러링 홀드아웃 테스트에서 가장 큰 격차를 보인다고 주장합니다.

Hugging Face 좋아요 12 · Hugging Face 상승 점수 12 · Hugging Face 다운로드 3

라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: 약 78 GB 추정

이유

  • 논문, 기술 보고서 및 Hugging Face 온라인 데모 포함
  • 평가 표에는 MotionBench 및 Vinoground 비디오 점수 등 성능이 뒤처지는 항목도 명시되어 있음

사용법

  • transformers 5 이상, safetensors, eva-decord 등 의존성을 설치한 후, AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16)로 로드합니다. model.chat("my_video.mp4", "질문")으로 자유 답변을 생성하고, model.choose로 객관식 문제를 처리합니다. 긴 비디오의 경우 start_sec / end_sec를 사용하여 특정 구간을 선택합니다.

리스크

  • 가중치 크기가 약 65 GB이며, 저자는 80 GB VRAM을 갖춘 GPU를 권장합니다(저자 측정 기준 단일 세그먼트 피크 사용량 61.0 GiB). trust_remote_code가 필요합니다.
  • 코드와 가중치는 Apache-2.0으로 표기되지만, 여러 학습 데이터셋은 상업적 사용을 금지합니다. 저자는 가중치가 연구 및 비상업적 용도로만 배포되며 Llama 3.2 사용 정책의 적용을 받는다고 명시했습니다.
  • 영어로만 학습되었습니다. OCR, 단일 이미지 및 긴 비디오 처리는 이 모델의 목표가 아닙니다.

열기

抱脸 world-model 标签

최신 AI 소식 보기