Titre original : Aucun agent d'IA n'obtient un score supérieur à 12 pour cent sur le nouveau benchmark de travail réel de SemiAnalysis
L'agence d'analyse SemiAnalysis a publié le benchmark GDPx le 2 11 : 206 tâches couvrant 11 domaines tels que la conception de puces, la biologie, le trading quantitatif, la cybersécurité et le droit, permettant aux agents d'utiliser des logiciels professionnels dans des environnements de travail simulés, avec une durée maximale de 8 heures par question. Selon The Decoder, Claude Opus 5.5 est en tête avec 12%, suivi de Gemini 4 Carbon 10.9% (coût par question environ un tiers de celui-ci) et de GPT-6 Astra 9.6% ; en excluant les trois domaines de la cybersécurité, de la biologie et de l'alignement, affectés par les filtres de sécurité, GPT-6 Astra prend la tête avec 11.8%. Les critiques soulignent que la plupart des questions ne sont pas publiques, que les sous-domaines ne contiennent souvent qu'environ 10 questions, et que chaque modèle fonctionne dans son propre logiciel d'agent, ce qui entraîne une forte variabilité des résultats.
Pourquoi c'est important Placer des agents dans des logiciels professionnels pour exécuter des tâches longues donne des scores bien inférieurs à ceux des benchmarks courants ; mais les questions n'étant pas publiques et chaque fournisseur utilisant ses propres outils, la comparabilité est contestée.
Fiabilité : Haute fiabilité · Sources SemiAnalysis et 2 autres (y compris officielles) · Date de l'événement 11-02 08:00 (heure de Pékin)
Raison
- SemiAnalysis a publié le benchmark et la méthodologie, The Decoder a rapporté et synthétisé les critiques
Utilisation
- Le classement est disponible sur gdpx.semianalysis.com
Risque
- La plupart des tâches ne sont pas publiques, certains domaines étant notés par des modèles de langage selon des critères de notation, ce qui rend la vérification externe difficile