Ai2 (Allen Institute for AI) a publié le papier « Old Ideas, Novel Problems » et un benchmark associé : en utilisant les avis de relecture d'ICLR 2026 pour construire un ensemble d'idées de recherche à nouveauté élevée / faible, ils ont testé la fiabilité de six modèles GPT et Claude en tant que « juges de nouveauté », découvrant que modifier quelques mots dans le prompt peut faire basculer considérablement le jugement.
Confiance : élevée (80) · Date de l'événement 2026-10-27
Raisons
- L'exemple le plus extrême : pour la même série de paires « idées humaines vs idées générées par IA », GPT-5.4 voit sa précision chuter de 93.5% à 40.9% après avoir utilisé une formulation plus simple, tombant en dessous du hasard, avec plus de la moitié des paires ayant vu leur jugement modifié.
- Ajouter de la récupération d'information ou du raisonnement n'améliore pas nécessairement la précision : en activant le mode de raisonnement ultra-élevé pour GPT-5.6 Sol et en connectant une recherche en temps réel sur arXiv, le macro-F1 atteint 0.78, soit 11 points de moins que Claude Opus 4.6 avec un prompt simple (0.89), et le coût par jugement est environ 10 fois plus élevé.
- Les systèmes d'évaluation de la nouveauté dédiés n'ont pas non plus gagné : Claude Opus 4.6 avec un faible raisonnement et trois votes obtient 0.854 pour un coût total de 2.59 dollars ; Idea Novelty Checker obtient 0.642 (30.66 dollars), et l'évaluateur de Sakana AI Scientist obtient 0.772 (82.05 dollars).
- Les systèmes de recherche scientifique automatisés demandent de plus en plus à un autre modèle de noter la nouveauté des idées proposées par l'IA ; cette étude montre que ces scores sont facilement influencés par la configuration de l'évaluation.
Utilisation
- Le papier est disponible sur arXiv 2610.02022 ; les données du benchmark sont sur Hugging Face allenai/novelty-judge-bench, le code sur GitHub allenai/novelty-eval, avec un pipeline permettant de reconstruire l'ensemble d'évaluation avec de nouveaux avis de relecture.
- Lorsque vous utilisez vous-même un LLM comme juge, vous pouvez suivre la méthode du papier en testant plusieurs formulations de prompts pour voir si les jugements basculent, avant de décider de leur fiabilité.
Risques
- Les tests portaient principalement sur des modèles plus anciens comme GPT-5.x et Claude 4.5 / 4.6 ; il est inconnu si les conclusions s'appliquent aux modèles les plus récents.
- « Les idées générées par l'IA sont moins nouvelles que les idées humaines » est une étiquette faible définie par les auteurs ; je n'ai lu que le blog d'Ai2, pas le papier complet.