Llama-V-JEPA-LM-Qwen3-30B-A3B

Llama-V-JEPA-LM là một loạt mô hình ngôn ngữ video của Kim và cộng sự (bài báo arXiv 2611.17831), các phiên bản nhỏ hơn như 1.7B đã được giới thiệu trong những số trước; phiên bản lớn nhất lần này kết nối bộ mã hóa video ViT-G Meta V-JEPA 2.1 (được đóng băng) với Qwen3-30B-A3B (được tinh chỉnh toàn bộ) thông qua một "cầu nối phổ", tổng số tham số là 32.39B, mỗi đoạn video lấy 32 khung hình và chuyển thành 1,024 token thị giác, số lượng này không phụ thuộc vào độ phân giải đầu vào. Dữ liệu huấn luyện ngoài các bộ câu hỏi-đáp video công khai, còn sử dụng các phép biến đổi như tua ngược, phản chiếu, thay đổi tốc độ để tạo ra các mẫu "phản thực tế" có câu trả lời xác định, giúp mô hình học cách quan sát sự thay đổi của hình ảnh. Các tác giả tuyên bố điểm trung bình trên 12 hạng mục thuộc 11 chuẩn đánh giá video là 69.49, cao hơn 66.41 của MiniCPM-V-4.7-35B-A3B và 63.33 của Qwen3-VL-30B-A3B.

Llama-V-JEPA-LM là một loạt mô hình ngôn ngữ video của Kim và cộng sự (bài báo arXiv 2611.17831), các phiên bản nhỏ hơn như 1.7B đã được giới thiệu trong những số trước; phiên bản lớn nhất lần này kết nối bộ mã hóa video ViT-G Meta V-JEPA 2.1 (được đóng băng) với Qwen3-30B-A3B (được tinh chỉnh toàn bộ) thông qua một "cầu nối phổ", tổng số tham số là 32.39B, mỗi đoạn video lấy 32 khung hình và chuyển thành 1,024 token thị giác, số lượng này không phụ thuộc vào độ phân giải đầu vào. Dữ liệu huấn luyện ngoài các bộ câu hỏi-đáp video công khai, còn sử dụng các phép biến đổi như tua ngược, phản chiếu, thay đổi tốc độ để tạo ra các mẫu "phản thực tế" có câu trả lời xác định, giúp mô hình học cách quan sát sự thay đổi của hình ảnh. Các tác giả tuyên bố điểm trung bình trên 12 hạng mục thuộc 11 chuẩn đánh giá video là 69.49, cao hơn 66.41 của MiniCPM-V-4.7-35B-A3B và 63.33 của Qwen3-VL-30B-A3B.

Tại sao quan trọng Các tác giả tuyên bố điểm trung bình cao hơn Qwen3-VL-30B-A3B cùng nền tảng, với khoảng cách lớn nhất trên các bài kiểm tra giữ lại tự xây dựng bao gồm tua ngược, thay đổi tốc độ và phản chiếu.

Hugging Face Likes 12 · Hugging Face Rising Score 12 · Hugging Face Downloads 3

Giấy phép: Thương mại hóa được · ComfyUI: Chưa có · VRAM: ≈78 GB (ước tính)

Lý do

  • Kèm theo bài báo, báo cáo kỹ thuật và demo trực tuyến trên Hugging Face
  • Bảng đánh giá cũng liệt kê các mục mà mô hình này thua kém, chẳng hạn như điểm video trên MotionBench và Vinoground

Cách sử dụng

  • Cài đặt các phụ thuộc như transformers phiên bản 5 trở lên, safetensors, eva-decord, sau đó tải mô hình bằng AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16); sử dụng model.chat("my_video.mp4", "câu hỏi") để trả lời tự do, model.choose để làm câu hỏi trắc nghiệm; đối với video dài, dùng start_sec / end_sec để chọn phân đoạn

Rủi ro

  • Trọng số khoảng 65 GB, các tác giả khuyến nghị card đồ họa có 80 GB VRAM (các tác giả đo được mức đỉnh là 61.0 GiB cho một đoạn); cần có trust_remote_code
  • Mã nguồn và trọng số được đánh dấu Apache-2.0, nhưng nhiều bộ dữ liệu huấn luyện cấm sử dụng thương mại, các tác giả giải thích rằng trọng số được phát hành cho mục đích nghiên cứu và phi thương mại, đồng thời tuân thủ chính sách sử dụng Llama 3.2
  • Chỉ được huấn luyện bằng tiếng Anh; OCR, hình ảnh đơn lẻ và video dài không phải là mục tiêu của mô hình này

Mở

抱脸 world-model 标签

Xem tin AI mới nhất