Оригинальное название: tencent/WeMM-Video-35BA3B
Версия MoE из серии Tencent WeMM-Video (плотные модели 2B, 4B, 9B и MoE-модель 35B-A3B), с общим количеством параметров 35B и активированными примерно 3B, принимает на вход текст, изображения, аудио и видео, а выводит текст на китайском или английском языке. Визуальные и аудиальные энкодеры преобразуют медиа в токены и передают их языковой модели; кадры видео снабжены временными метками, что позволяет описывать события, транскрибировать речь и делать выводы на основе увиденного и услышанного с учетом оригинальной звуковой дорожки; поддерживаются два режима: прямой ответ и режим размышлений. Предварительное обучение всей серии выполнено на примерно 1.2 триллионах мультимодальных токенов, постобучение использует метод OPD с несколькими учителями, MrDPO для борьбы с повторами и специализированное обучение с подкреплением, технический отчет доступен на arXiv 2611.26409.
Почему это важно Большинство открытых моделей для работы с видео анализируют только изображение; эта модель читает оригинальный звук и кадры с временными метками вместе, выполняя описание, транскрипцию и логический вывод за один проход, активируя при этом около тридцати миллиардов параметров на токен
Рост рейтинга 27 · Лайки 27 · Загрузки 239
Причины
- Официально заявлено, что модель достигла лучшего уровня среди открытых моделей в понимании видео с полным мультимодальным охватом, превзойдя закрытые модели, такие как Qwen3.5-Omni-Flash и Seed2.0-Mini-0428, и сократив разрыв с Gemini-3.0-Flash; версии 35B-A3B и 9B лидируют в общем понимании аудио (результаты представлены в виде графиков)
- Официально выпущены четыре квантованные версии: FP8 Block128, AWQ W4A16, GGUF Q4_K_M и NVFP4 W4A16; аналогичные квантованные версии доступны и для моделей 2B / 4B / 9B из той же серии
- Лицензия Apache 2.0, сторонние компоненты распространяются под своими исходными лицензиями
Использование
- Загрузка через transformers модели tencent/WeMM-Video-35BA3B (с параметром trust_remote_code=True); в корневом каталоге репозитория WeMM-Video выполните команду python examples/transformers_video.py --model tencent/WeMM-Video-35BA3B --video clip.mp4 --prompt "…", которая одновременно обрабатывает изображение и оригинальный звук
- Для развертывания сначала установите официальные патчи для vLLM / SGLang; пример команды предполагает тензорное параллельное выполнение на двух картах, контекст 8192, открытый интерфейс, совместимый с OpenAI, параметр video_url.use_audio, установленный в true для включения звуковой дорожки, и chat_template_kwargs.enable_thinking для активации режима размышлений
- Если не хватает видеопамяти, можно использовать модели 9B, 4B, 2B из той же серии или квантованные версии
Риски
- Веса в формате BF16 занимают примерно 67.39 GiB, в официальных примерах используются две карты; для vLLM / SGLang необходимо применять патчи WeMM и запускать код из репозитория с параметром trust_remote_code
- Результаты получены в ходе самостоятельного тестирования разработчиками, в карточке модели представлены только графики без детальных числовых значений; данная запись не была проверена на практике