Titre original : Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Sol
Nouveaux résultats ajoutés au benchmark mathématique MathArena pour Gemini 4 Carbon et Claude Fable 5.2 : le Gemini 4 Carbon de Google (high) se classe premier, suivi de Claude Fable 5.2 (max) en deuxième position, détrônant ainsi GPT-6.1 Sol (max) de la première place. Selon The Decoder, avec les paramètres d'inférence utilisés lors des tests, les coûts de Carbon et de Fable 5.2 sont respectivement environ 15 et 40 fois supérieurs à ceux de GPT-6.1 Sol ; l'échec le plus fréquent de Carbon est le dépassement de délai, il n'abandonne presque jamais une tâche, et une fois, un script lancé a tourné pendant plus de 11 heures sans que sa progression ne soit vérifiée.
Pourquoi c'est important C'est la première fois depuis longtemps qu'un modèle d'OpenAI ne domine pas ce classement mathématique ; mais cette avance est obtenue au prix d'une surcharge d'inférence plus élevée, il faut donc calculer les coûts avant toute utilisation réelle.
Fiabilité : Haute fiabilité · Sources incluant MathArena et 2 autres (y compris officielles) · Date de l'événement 11-15 00:48 (heure de Pékin)
Raisons
- Le classement officiel sur le site de MathArena a été mis à jour, The Decoder rapporte la comparaison des coûts
Utilisation
- Consultez les scores par problème pour chaque modèle sur matharena.ai
Risques
- Le multiplicateur de coût dépend du niveau d'inférence choisi lors des tests
- Selon les rapports, les modèles mathématiques plus puissants d'OpenAI ne sont pas encore publics et n'apparaissent pas dans le classement