L'organisme d'évaluation indépendant Artificial Analysis a publié le 27 10 l'Intelligence Index v5 : ajout de FrontierCode 2.0 et de Terminal-Bench-Science, les évaluations de programmation privées de Cognition ; remplacement de Humanity's Last Exam par une version allégée HLE-Diamond ; suppression de GDPval-AA, SciCode, etc. ; les scores de 60% proviennent d'ensembles de données privés ou de réponses non publiées, afin d'empêcher les modèles de sur-optimiser leurs performances sur les questions publiques. Lancement simultané du Progress Index v1, permettant de comparer les capacités des modèles à travers les époques.
Confiance : élevée (95) · Date de l'événement 2026-10-26
Justification
- De nombreux communiqués de presse et médias citent cet indice (le modèle Gemini 4 Carbon, mis en avant dans cette édition, arrive en tête avec 59 points), et le classement a nettement changé après la mise à jour. Lors de la sortie de la v5, Claude Opus 5.5 (max) menait avec 58 points, suivi de GPT-6 Astra 57 et GPT-6.1 Sol 55, tandis que Gemini 4 Argon obtenait 50 points.
- Les modèles à poids ouverts ont connu la plus forte baisse : le meilleur, Kimi K3.1 Pro (dont les poids ne sont pas encore publiés), atteint 46 points, soit 12 points de moins que le premier (l'écart n'était que de 3 point dans la v4.3) ; The Decoder note qu'il est passé de la 4e à la 9e place. DeepSeek V4.1 Flash 1017 et GLM-5.3, dont les poids sont publiés, obtiennent tous deux 32 points, un score inférieur aux 36 points de Claude Haiku 5.5.
- Les quatre catégories ont chacune un poids de 25% : travail intellectuel, programmation, sciences et général. La nouvelle version est plus sensible aux niveaux de raisonnement et aux tokens : Claude Opus 5.5 obtient 35 points en mode bas et 58 points en mode maximal, avec un coût par tâche multiplié par 10 ; la médiane des tokens de sortie par tâche est passée de 3.5 mille à 5.9 mille.
Utilisation
- Le classement complet et la méthodologie sont disponibles sur artificialanalysis.ai ; le nouveau sous-ensemble public AA-Omniscience-Public-v1.1 est disponible sur Hugging Face, permettant de tester soi-même les questions de connaissances et le taux d'hallucination.
- Lors du choix d'un modèle, vérifiez le niveau de raisonnement indiqué, car l'écart de score entre différents niveaux pour un même modèle peut dépasser 20 points.
Risques
- L'inconvénient des ensembles de données privés est que les erreurs dans les questions ne peuvent pas être vérifiées par des tiers : Artificial Analysis a d'ailleurs corrigé des questions ambiguës ou erronées dans AA-Omniscience (comme l'a souligné The Decoder).
- Le chercheur Nathan Lambert estime que la baisse des scores des modèles open source ne résulte pas seulement d'une « optimisation excessive des questions », mais aussi des écarts d'investissement des différents acteurs dans les environnements d'apprentissage par renforcement multi-domaines ; les pondérations des catégories sont définies unilatéralement par Artificial Analysis.