Mistral Large 4: мультимодальная модель MoE с открытыми весами и триллионом параметров

Самая крупная на сегодняшний день модель Mistral AI (прозвище Le Chonk), официально представленная в блоге компании 10 29 числа как модель с открытыми весами: нативная мультимодальная архитектура MoE с общим количеством параметров около 1 триллионов, активация 490 миллиардов параметров на токен (включая слои эмбеддингов и выходной слой — 520 миллиардов), из 128 маршрутизируемых экспертов активируется 4, контекстное окно составляет 100 тысяч токенов, поддерживается ввод текста и изображений. Для инструкций, рассуждений, программирования и агентных задач используются одни и те же веса; интенсивность рассуждений переключается по запросу в трех режимах: low / medium / high; поддерживаются вызовы функций и строгий вывод в формате JSON Schema. По официальным данным, модель набрала 48% баллов в индексе агентного программирования Artificial Analysis, что примерно соответствует показателю GLM-5.3, при этом на одну задачу в среднем расходуется на 47% меньше токенов; в индексе интеллекта v5 модель получила 26 баллов, что является лучшим результатом среди западных моделей с открытыми весами, но уступает ведущим китайским моделям с открытым исходным кодом. В чекпоинт встроен черновик для спекулятивного декодирования DSpark, что, по официальным данным, позволяет увеличить пропускную способность до 1.9 раз.

Оригинальное название: mistralai/Mistral-Large-4-1T-A52B

Самая крупная на сегодняшний день модель Mistral AI (прозвище Le Chonk), официально представленная в блоге компании 10 29 числа как модель с открытыми весами: нативная мультимодальная архитектура MoE с общим количеством параметров около 1 триллионов, активация 490 миллиардов параметров на токен (включая слои эмбеддингов и выходной слой — 520 миллиардов), из 128 маршрутизируемых экспертов активируется 4, контекстное окно составляет 100 тысяч токенов, поддерживается ввод текста и изображений. Для инструкций, рассуждений, программирования и агентных задач используются одни и те же веса; интенсивность рассуждений переключается по запросу в трех режимах: low / medium / high; поддерживаются вызовы функций и строгий вывод в формате JSON Schema. По официальным данным, модель набрала 48% баллов в индексе агентного программирования Artificial Analysis, что примерно соответствует показателю GLM-5.3, при этом на одну задачу в среднем расходуется на 47% меньше токенов; в индексе интеллекта v5 модель получила 26 баллов, что является лучшим результатом среди западных моделей с открытыми весами, но уступает ведущим китайским моделям с открытым исходным кодом. В чекпоинт встроен черновик для спекулятивного декодирования DSpark, что, по официальным данным, позволяет увеличить пропускную способность до 1.9 раз.

Почему это важно Редкий случай западной модели с открытыми весами уровня триллиона параметров; по официальным данным, результаты в задачах агентного программирования сопоставимы с ведущими моделями с открытым исходным кодом, при этом расход токенов ниже

Рост рейтинга на 78 · лайков 1646 · загрузок 12541

Причины

  • Редкая для моделей с открытыми весами универсальная модель уровня триллиона параметров, одни веса покрывают анализ изображений, рассуждения, агентное программирование и вызовы инструментов
  • По официальным данным, модель демонстрирует выдающиеся результаты в задачах по кибербезопасности, финансам и праву, а также в задачах визуального позиционирования; поддерживается 160 языков
  • Поддержка в vLLM, SGLang, transformers и llama.cpp доступна с момента релиза; для дообучения можно использовать Axolotl, Unsloth и TRL; также доступна квантованная версия NVFP4 для архитектуры Blackwell

Использование

  • vLLM: используйте официальный образ vllm/vllm-openai:mistral-large-4, настройте тензорный параллелизм на 8 GPU, добавьте флаги --tool-call-parser mistral и --reasoning-parser mistral; для включения спекулятивного декодирования DSpark добавьте --speculative-config
  • Официально рекомендуемые параметры: temperature 1.0, top_p 0.95; для сложных задач и агентных сценариев используйте reasoning_effort=high, для повседневных задач — medium, для быстрых чатов — low
  • Если вы не разворачиваете модель самостоятельно, можно использовать API Mistral с моделью mistral-large-4 или интегрировать её с официальным открытым ассистентом для программирования Mistral Vibe

Риски

  • Лицензия Mistral Ecosystem Open-Weight License (модифицированная MIT) допускает коммерческое использование, но для предоставления услуг на базе модели (Model-as-a-Service) требуется отдельная коммерческая лицензия
  • Пример развертывания требует узла с 8 GPU, запуск на личном оборудовании невозможен
  • Результаты основаны на данных индекса Artificial Analysis и официальном блоге, цитируемых разработчиками
  • Данная запись не была проверена на практике, фактические характеристики следует уточнять по карточке модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ