WeMM-Video: Mô hình hiểu đa phương tiện âm thanh và video mã nguồn mở của Tencent

Dòng mô hình nền tảng đa phương tiện song ngữ Trung-Anh của Tencent, đầu vào là văn bản, hình ảnh, âm thanh và video (có thể kèm âm thanh gốc), đầu ra là văn bản; có các mô hình đặc (dense) với kích thước 2B, 4B, 9B và mô hình chuyên gia hỗn hợp (MoE) 35B-A3B, hỗ trợ chế độ instruct trả lời trực tiếp và chế độ suy nghĩ (thinking) suy luận từng bước. Bài báo cáo cho biết mô hình được tiền huấn luyện tăng dần trên kho ngữ liệu đa phương tiện khoảng 1.2 nghìn tỷ token, quá trình hậu huấn luyện sử dụng kỹ thuật chưng cất trực tuyến đa giáo viên, MrDPO để hạn chế sự lặp lại và học tăng cường chuyên biệt, được đánh giá trên hơn 120 bộ chuẩn.

Tiêu đề gốc: WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding

Dòng mô hình nền tảng đa phương tiện song ngữ Trung-Anh của Tencent, đầu vào là văn bản, hình ảnh, âm thanh và video (có thể kèm âm thanh gốc), đầu ra là văn bản; có các mô hình đặc (dense) với kích thước 2B, 4B, 9B và mô hình chuyên gia hỗn hợp (MoE) 35B-A3B, hỗ trợ chế độ instruct trả lời trực tiếp và chế độ suy nghĩ (thinking) suy luận từng bước. Bài báo cáo cho biết mô hình được tiền huấn luyện tăng dần trên kho ngữ liệu đa phương tiện khoảng 1.2 nghìn tỷ token, quá trình hậu huấn luyện sử dụng kỹ thuật chưng cất trực tuyến đa giáo viên, MrDPO để hạn chế sự lặp lại và học tăng cường chuyên biệt, được đánh giá trên hơn 120 bộ chuẩn.

Tại sao quan trọng Hầu hết các mô hình video mã nguồn mở chỉ xem xét hình ảnh; mô hình này tích hợp cả âm thanh gốc vào quá trình hiểu, cung cấp đồng thời bốn kích thước và nhiều phiên bản lượng tử hóa, cho phép lựa chọn từ card đồ họa nhỏ đến máy chủ

Thích 39 · Số sao mã nguồn 38

Lý do

  • Bài báo cáo cho biết mô hình 35B-A3B đạt hiệu suất tốt nhất mã nguồn mở trong việc hiểu video đa phương tiện, vượt qua Qwen3.5-Omni-Flash, Seed2.0-Mini-0428, và thu hẹp khoảng cách với Gemini-3.0-Flash; phiên bản 9B vượt qua mô hình lớn hơn Qwen3-Omni-30B-A3B-Instruct
  • Mỗi kích thước đều cung cấp năm định dạng: BF16, FP8, AWQ W4A16, GGUF Q4_K_M, NVFP4
  • Kèm theo quy trình đánh giá và tái hiện; mã nguồn theo giấy phép Apache-2.0, trang trọng lượng trên Hugging Face cũng ghi rõ Apache-2.0

Cách sử dụng

  • Mã nguồn: https://github.com/Tencent/WeMM-Video;权重:https://huggingface.co/tencent/WeMM-Video-2B(另有 4B, 9B, 35BA3B)
  • Transformers: Cần Python 3.12, driver CUDA 12.9 và FFmpeg, cài đặt torch 2.10.0, transformers 5.2.0 v.v.; tải bằng AutoModelForImageTextToText, cần đặt trust_remote_code=True, enable_thinking để điều khiển chế độ suy nghĩ
  • Triển khai dịch vụ sử dụng vLLM đã được vá trong kho lưu trữ (hỗ trợ BF16 / FP8 / AWQ / NVFP4) hoặc SGLang (BF16), cung cấp Docker; examples/chat.py có các ví dụ về văn bản, hình ảnh, âm thanh, video và video kèm âm thanh

Rủi ro

  • README nêu rõ giấy phép của mô hình tuân theo thẻ Hugging Face của từng checkpoint, cần kiểm tra riêng cho từng kích thước và định dạng
  • Cần sử dụng mã mô hình tùy chỉnh và khung suy luận đã được vá, khuyến nghị chính thức là xem xét mã nguồn và cố định revision vào một commit cụ thể; kết quả so sánh do tác giả tự kiểm tra. Mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất