Modèle MoE multimodal de Mistral, avec un total de 1 T de paramètres et 52 B activés par token, déjà inclus le 30 10. Cette réinclusion est due à l'ajout, le 2 11, d'un rapport technique (assets/technical_report.pdf) dans le dépôt, détaillant l'entraînement, les compromis architecturaux et les détails de déploiement ; les poids du modèle sont inchangés.
Hausse de score de 503 · J'aime 1500 · Téléchargements 5500
Raisons
- Par rapport à la version du 30 10, le point le plus notable du rapport est la « pénalité agentique » : pour économiser la mémoire vidéo, ML4 utilisait initialement une attention glissante sur une fenêtre de 512, un partage KV inter-couches et YOCO, réduisant le cache KV à 1/16 de celui d'une attention complète, avec un impact quasi nul sur la perplexité et les questions de connaissances, mais une dégradation notable des tâches agentiques à long contexte comme SWE-bench et BrowseComp après le SFT. Une « chirurgie du modèle » a donc été effectuée avant la pré-formation de la deuxième phase, revenant à une attention quasi complète (en conservant uniquement YOCO), puis remplacée par l'attention sparse de DeepSeek.
- Entraînement et post-entraînement : pré-formation pendant 45 jours sur 3,840 cartes GB200 près de Paris, soit environ 415 mille heures GPU ; le post-entraînement est automatisé par des agents qui génèrent des environnements exécutables, des tâches, des solutions de référence et des validateurs, couvrant l'ingénierie logicielle, la cybersécurité et le travail intellectuel ; les trois niveaux d'effort de raisonnement (low / medium / high) sont obtenus en distillant trois modèles enseignants avec des pénalités de longueur différentes dans un même modèle.
- Officiellement, Terminal-Bench 4.0 41%, FrontierCode 2.0 19.7%, AA Cyber Index 50.9% ; en quantifiant uniquement les experts de routage en NVFP4, le checkpoint pèse 606 GB, avec des performances égales à la version FP8 sur tous les benchmarks, et un déploiement possible sur 4 cartes GB300.
Utilisation
- Le rapport se trouve dans le fichier assets/technical_report.pdf de l'onglet Files de la page du modèle. Les méthodes de déploiement restent inchangées : vLLM utilise l'image vllm/vllm-openai:mistral-large-4, SGLang utilise l'image lmsysorg/sglang:mistral-large-4, et le paramètre reasoning_effort permet de choisir low / medium / high dans les requêtes.
- Si la mémoire vidéo est insuffisante, consultez la version NVFP4 mistralai/Mistral-Large-4-1T-A52B-NVFP4 (destinée aux cartes graphiques Blackwell), ou appelez directement l'API Mistral avec mistral-large-4.
Risques
- Les tableaux comparatifs du rapport proviennent principalement de tests officiels ou d'évaluations internes. Dans le même tableau, l'AA Cyber Index de DeepSeek-V4.1-Flash-1017 est de 56.8%, plus élevé ; le HLE-Diamond de ML4 à 17.3% et la précision AA-Omniscience à 26.0% sont relativement bas dans le tableau.
- Avec 1 T de paramètres, les versions FP8 et NVFP4 nécessitent plusieurs GPU de niveau centre de données et ne peuvent pas être exécutées sur des appareils personnels.
- La licence est la Mistral Ecosystem Open-Weight License (une version modifiée de la MIT) ; une licence commerciale distincte est requise pour les activités de modèle en tant que service (MaaS).