Мультимодальная MoE-модель от Mistral с общим количеством параметров 1T и активацией 52B на токен была добавлена 30 10. Повторное добавление связано с тем, что 2 11 в репозиторий был добавлен технический отчет (assets/technical_report.pdf), в котором подробно описаны обучение, архитектурные компромиссы и детали развертывания; веса модели не изменились.
Рост рейтинга на 503 · Лайков: 1500 · Загрузок: 5500
Причины
- По сравнению с версией от 30 10, наиболее интересным в отчете является раздел об «агентном штрафе»: для экономии видеопамяти в ML4 изначально использовались скользящее внимание с окном 512, межслойное разделение KV и YOCO, что сжимало KV-кэш до 1/16 от полного внимания, почти не влияя на перплексию и задачи на знания, однако после SFT производительность в задачах с длинным контекстом, таких как SWE-bench и BrowseComp, заметно ухудшилась. Поэтому перед вторым этапом предобучения была проведена «операция на модели», вернувшая архитектуру к почти полному вниманию (с сохранением только YOCO), а затем замененная на разреженное внимание DeepSeek.
- Обучение и постобучение: предобучение проводилось в течение 45 дней на 3,840 GPU GB200 вблизи Парижа, что составило около 415 тысяч GPU-часов; постобучение осуществлялось агентами, автоматически создававшими исполняемые среды, задачи, эталонные решения и валидаторы, охватывающими разработку ПО, кибербезопасность и интеллектуальный труд; три уровня интенсивности рассуждений (low / medium / high) получены путем дистилляции трех учительских моделей с различными штрафами за длину в одну модель.
- Официально заявлены результаты: Terminal-Bench 4.0 41%, FrontierCode 2.0 19.7%, AA Cyber Index 50.9%; после квантования только маршрутизируемых экспертов в NVFP4 размер чекпоинта составляет 606 ГБ, при этом все метрики соответствуют версии FP8, а развертывание возможно на 4 GPU GB300.
Использование
- Отчет находится в разделе Files на странице модели в файле assets/technical_report.pdf. Способ развертывания не изменился: для vLLM используйте образ vllm/vllm-openai:mistral-large-4, для SGLang — образ lmsysorg/sglang:mistral-large-4, а в запросе параметр reasoning_effort позволяет выбрать low / medium / high.
- Если видеопамяти недостаточно, обратите внимание на версию NVFP4 mistralai/Mistral-Large-4-1T-A52B-NVFP4 (предназначенную для видеокарт Blackwell) или напрямую используйте API Mistral с моделью mistral-large-4.
Риски
- Сравнительные таблицы в отчете в основном основаны на собственных тестах или внутренних оценках разработчика. В той же таблице AA Cyber Index для DeepSeek-V4.1-Flash-1017 составляет 56.8%, что выше; показатели HLE-Diamond 17.3% и точность AA-Omniscience 26.0% для ML4 в таблице ниже.
- Модель с 1T параметров требует нескольких GPU дата-центрового уровня как в оригинальной версии FP8, так и в версии NVFP4; запуск на личном оборудовании невозможен.
- Лицензия Mistral Ecosystem Open-Weight License (модифицированная MIT) требует заключения отдельного коммерческого соглашения для бизнеса, предоставляющего модель как услугу (MaaS).