WeMM-Video: Mô hình hiểu video mã nguồn mở của Tencent, đọc đồng thời cả hình ảnh và âm thanh

Phiên bản MoE trong dòng WeMM-Video của Tencent (các mô hình đặc 2B, 4B, 9B và MoE 35B-A3B), với tổng số tham số 35B, số tham số kích hoạt khoảng 3B, đầu vào là văn bản, hình ảnh, âm thanh và video, đầu ra là văn bản tiếng Trung hoặc tiếng Anh. Bộ mã hóa thị giác và âm thanh chuyển đổi phương tiện thành các token để đưa vào mô hình ngôn ngữ; các khung hình video có kèm dấu thời gian, cho phép mô tả sự kiện, chuyển ngữ giọng nói và suy luận về những gì được nhìn thấy và nghe thấy dựa trên âm thanh gốc; có hai chế độ: trả lời trực tiếp và suy nghĩ. Toàn bộ dòng sản phẩm được tiền huấn luyện trên khoảng 1.2 nghìn tỷ token đa phương thức, giai đoạn hậu huấn luyện sử dụng OPD đa giáo viên, MrDPO chống lặp lại và học tăng cường chuyên biệt, báo cáo kỹ thuật trên arXiv 2611.26409.

Tên gốc: tencent/WeMM-Video-35BA3B

Phiên bản MoE trong dòng WeMM-Video của Tencent (các mô hình đặc 2B, 4B, 9B và MoE 35B-A3B), với tổng số tham số 35B, số tham số kích hoạt khoảng 3B, đầu vào là văn bản, hình ảnh, âm thanh và video, đầu ra là văn bản tiếng Trung hoặc tiếng Anh. Bộ mã hóa thị giác và âm thanh chuyển đổi phương tiện thành các token để đưa vào mô hình ngôn ngữ; các khung hình video có kèm dấu thời gian, cho phép mô tả sự kiện, chuyển ngữ giọng nói và suy luận về những gì được nhìn thấy và nghe thấy dựa trên âm thanh gốc; có hai chế độ: trả lời trực tiếp và suy nghĩ. Toàn bộ dòng sản phẩm được tiền huấn luyện trên khoảng 1.2 nghìn tỷ token đa phương thức, giai đoạn hậu huấn luyện sử dụng OPD đa giáo viên, MrDPO chống lặp lại và học tăng cường chuyên biệt, báo cáo kỹ thuật trên arXiv 2611.26409.

Tại sao quan trọng Hầu hết các mô hình video mã nguồn mở chỉ xem hình ảnh; mô hình này đọc đồng thời âm thanh gốc và các khung hình có dấu thời gian, thực hiện mô tả, chuyển ngữ và suy luận trong một lần xử lý, chỉ kích hoạt khoảng ba tỷ tham số cho mỗi từ

Điểm tăng 27 · Lượt thích 27 · Lượt tải 239

Lý do

  • Nhà phát triển tuyên bố đạt mức tốt nhất mã nguồn mở trong hiểu video đa phương thức, vượt qua các mô hình đóng như Qwen3.5-Omni-Flash, Seed2.0-Mini-0428, và thu hẹp khoảng cách với Gemini-3.0-Flash; phiên bản 35B-A3B và 9B dẫn đầu trong hiểu âm thanh tổng quát (kết quả được trình bày qua biểu đồ)
  • Nhà phát triển đồng thời cung cấp bốn phiên bản lượng hóa: FP8 Block128, AWQ W4A16, GGUF Q4_K_M, NVFP4 W4A16, các phiên bản 2B / 4B / 9B trong cùng dòng cũng có các phiên bản lượng hóa tương tự
  • Giấy phép Apache 2.0, các thành phần của bên thứ ba tuân theo giấy phép gốc của chúng

Cách sử dụng

  • Tải tencent/WeMM-Video-35BA3B bằng transformers (trust_remote_code=True); chạy lệnh python examples/transformers_video.py --model tencent/WeMM-Video-35BA3B --video clip.mp4 --prompt "…" từ thư mục gốc của kho WeMM-Video để xử lý đồng thời hình ảnh và âm thanh gốc
  • Để triển khai, trước tiên hãy cài đặt các bản vá vLLM / SGLang chính thức; lệnh ví dụ sử dụng song song tensor trên hai GPU, ngữ cảnh 8192, cung cấp giao diện tương thích OpenAI, đặt video_url.use_audio thành true để bao gồm âm thanh, bật chế độ suy nghĩ bằng chat_template_kwargs.enable_thinking
  • Nếu bộ nhớ GPU không đủ, có thể chuyển sang các phiên bản 9B, 4B, 2B trong cùng dòng hoặc các phiên bản lượng hóa

Rủi ro

  • Trọng số BF16 chiếm khoảng 67.39 GiB, ví dụ chính thức sử dụng hai GPU; vLLM / SGLang bắt buộc phải áp dụng bản vá WeMM và cần chạy mã trong kho bằng trust_remote_code
  • Kết quả là do nhà phát triển tự kiểm tra, thẻ mô hình chỉ có biểu đồ mà không có số liệu chi tiết từng mục; mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất