WeMM-Video: открытая модель Tencent для мультимодального понимания аудио и видео

Серия мультимодальных базовых моделей Tencent с поддержкой китайского и английского языков, принимающая на вход текст, изображения, аудио и видео (включая оригинальную звуковую дорожку) и выдающая на выходе текст; включает плотные модели размером 2B, 4B, 9B и модель с архитектурой смешанных экспертов (MoE) размером 35B-A3B, поддерживающую режим instruct для прямых ответов и режим thinking для пошагового рассуждения. В статье указано, что модель прошла постепенное предобучение на мультимодальном корпусе объемом около 1.2 триллионов токенов, а этап постобучения включал онлайн-дистилляцию от нескольких учителей, метод MrDPO для подавления повторений и специализированное обучение с подкреплением; оценка проводилась на более чем 120 бенчмарках.

Оригинальное название: WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding

Серия мультимодальных базовых моделей Tencent с поддержкой китайского и английского языков, принимающая на вход текст, изображения, аудио и видео (включая оригинальную звуковую дорожку) и выдающая на выходе текст; включает плотные модели размером 2B, 4B, 9B и модель с архитектурой смешанных экспертов (MoE) размером 35B-A3B, поддерживающую режим instruct для прямых ответов и режим thinking для пошагового рассуждения. В статье указано, что модель прошла постепенное предобучение на мультимодальном корпусе объемом около 1.2 триллионов токенов, а этап постобучения включал онлайн-дистилляцию от нескольких учителей, метод MrDPO для подавления повторений и специализированное обучение с подкреплением; оценка проводилась на более чем 120 бенчмарках.

Почему это важно Большинство открытых видео-моделей анализируют только визуальный ряд; эта модель интегрирует оригинальную звуковую дорожку в процесс понимания. Представлены четыре размера и несколько вариантов квантования, что позволяет выбрать подходящий вариант как для небольших видеокарт, так и для серверов

Лайки: 39 · Звезды в коде: 38

Причины

  • В статье утверждается, что модель 35B-A3B достигла лучшего результата среди открытых моделей в задачах мультимодального понимания видео, превзойдя Qwen3.5-Omni-Flash и Seed2.0-Mini-0428, а разрыв с Gemini-3.0-Flash сокращается; версия 9B превосходит более крупную модель Qwen3-Omni-30B-A3B-Instruct
  • Для каждого размера представлены пять форматов: BF16, FP8, AWQ W4A16, GGUF Q4_K_M и NVFP4
  • Приложены процедуры оценки и воспроизведения результатов; исходный код лицензирован под Apache-2.0, страница весов на Hugging Face также указывает лицензию Apache-2.0

Использование

  • Код: https://github.com/Tencent/WeMM-Video;权重:https://huggingface.co/tencent/WeMM-Video-2B(另有 4B, 9B, 35BA3B)
  • Transformers: требуются Python 3.12, драйвер CUDA 12.9 и FFmpeg; необходимо установить torch 2.10.0, transformers 5.2.0 и другие зависимости; загрузка через AutoModelForImageTextToText требует установки trust_remote_code=True, режим thinking управляется параметром enable_thinking
  • Для развертывания сервиса используется патченная версия vLLM из репозитория (поддержка BF16 / FP8 / AWQ / NVFP4) или SGLang (BF16); предоставляется Docker-образ; в файле examples/chat.py приведены примеры работы с текстом, изображениями, аудио, видео и видео со звуком

Риски

  • В README указано, что лицензия на модель определяется карточкой каждой конкретной контрольной точки (checkpoint) на Hugging Face, поэтому для каждого размера и формата необходимо проверять условия отдельно
  • Требуется использование пользовательского кода модели и патченных фреймворков инференса; официально рекомендуется предварительно проверить код и зафиксировать revision на конкретном коммите; результаты сравнения получены авторами самостоятельно. Данный пункт не был выполнен в ходе проверки

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ