Anthropic publie une expérience contrôlée randomisée : 50 analystes ayant une expérience de l'inférence causale ont utilisé Claude Code (Claude Opus 4.8, intensité High) pour réaliser une analyse de données d'environ une heure. La tâche comportait quatre décisions analytiques où « les deux options étaient raisonnables ». Les chercheurs ont secrètement attribué une préférence à l'agent par un lancer de pièce, lui demandant de fournir l'argument honnête le plus solide en faveur de ce camp. Les analystes ont choisi l'option privilégiée par l'agent dans 86% des cas, et la majorité pensait que la conclusion finale était leur propre jugement.
Confiance : élevée (95) · Date de l'événement 2026-10-27
Justification
- Données officielles : les taux de suivi de l'agent pour les quatre décisions étaient respectivement de 92%, 82%, 81% et 90% ; après que les analystes ont exprimé leur opinion, 60% ont changé d'avis lorsque l'agent s'y opposait, contre seulement 6% lorsqu'il était d'accord ; lors de l'explication post-hoc des raisons, 77% ont répété les arguments de l'agent (parfois mot pour mot), et seuls 15% ont mentionné la source ; l'ancienneté, le niveau d'études, l'auto-évaluation de l'expertise et la confiance dans l'IA ne permettent pas de prédire qui est plus susceptible de suivre.
- L'utilisation de l'IA présente également des avantages évidents : parmi les 50 personnes utilisant l'agent, 3 ont commis des erreurs méthodologiques graves (6%), contre 6 parmi les 11 personnes n'utilisant pas l'agent (55%) ; le temps médian était de 65 minutes contre 90 minutes.
- Anthropic estime que le risque réside dans le fait que lorsque plusieurs équipes utilisent le même modèle, un consensus apparemment indépendant peut n'être que la préférence du modèle ; la recherche sur la sécurité de l'IA confie de plus en plus d'expériences aux agents, et si les réviseurs adoptent inconsciemment le jugement de l'agent, la vérification humaine ne constitue plus un contrôle indépendant.
Utilisation
- La description de l'étude et le PDF de l'article sont disponibles sur anthropic.com/research/agents-judgment-calls. Lors de l'utilisation d'agents pour des jugements ouverts, on peut leur demander de rédiger d'abord les arguments les plus solides pour chaque option, ou de demander votre avis avant de donner un conseil ; c'est également la direction de conception proposée par l'article.
Risques
- La préférence de l'agent a été intentionnellement renforcée par les chercheurs ; sans préférence définie, Claude Opus 4.8 a fait les mêmes cinq choix dans 112 des 123 exécutions, l'impact dans des scénarios réels pourrait donc être moindre.
- Une seule tâche, un seul domaine et un seul modèle ont été testés, avec un échantillon de 50 personnes ; le groupe de contrôle sans IA était plus petit et moins expérimenté, ce qui empêche de déterminer si l'écart de taux d'erreur est entièrement dû à l'IA.
- The Decoder a rapporté un écart de 53 points de pourcentage pour le changement d'avis après avoir exprimé une opinion initiale, alors que la valeur officielle est de 54 points de pourcentage (intervalle de confiance de 24 à 82). L'étude a été publiée le 27 10, avant la fenêtre de cette édition ; cette édition est basée sur les reportages médiatiques du 29 10.