Anthropic がランダム化比較試験を発表：因果推論の経験を持つ 50 名のアナリストが、Claude Code（Claude Opus 4.8、High 強度）を使用して約 1 時間のデータ分析タスクを完了した。タスクには「どちらの選択肢も妥当である」とされる分析上の判断が 4 つ含まれていた。研究者はコイントスによってエージェントに好みを隠れた形で設定し、その好ましい選択肢に対して最も強力かつ誠実な論拠を提示させた。結果として、アナリストは 86% のケースでエージェントが好んだ選択肢を選択し、大多数は最終的な結論が自身の判断によるものだと考えていた。
信頼度：高（95） · イベント日時 2026-10-27
理由
- 公式データ：4 つの判断においてエージェントに追随した割合はそれぞれ 92%、82%、81%、90% であった。アナリストが事前に立場を表明した後、エージェントが反対した場合に 60% が意見を変え、エージェントが賛成した場合に 6% が意見を変えた。事後に理由を説明する際、77% がエージェントの論拠を復唱し（時には一字一句同じであった）、出典に言及したのは 15% のみであった。経験年数、学歴、自己評価による専門性、AI への信頼度は、誰がより追随しやすいかを予測する要因にはならなかった。
- AI の使用には明らかな利点もある：エージェントを使用した 50 人中 3 人に重大な方法論上のエラーが発生し（6%）、使用しなかった 11 人中 6 人（55%）に発生した。中央値としての所要時間は 65 分対 90 分であった。
- Anthropic はリスクとして以下を指摘している：複数のチームが同一のモデルを使用する場合、独立して導き出されたように見える合意が、単にモデルのバイアスによるものである可能性がある。AI 安全性研究ではエージェントによる実験の実施が増加しており、審査者が無自覚にエージェントの判断を採用してしまうと、人間のレビューは独立したチェック機能として機能しなくなる。
利用法
- 研究の概要と論文 PDF は anthropic.com/research/agents-judgment-calls で入手可能である。エージェントを用いてオープンエンドな判断を行う際は、まず両方の選択肢に対する最も強力な論拠をそれぞれ書き出させる、あるいはエージェントに助言を求める前にまず自身の見解を尋ねるといった方法が有効である。これらは論文でも示唆されている設計方針である。
リスク
- エージェントの好みは研究者によって意図的に強化されたものであり、好みを設定しない場合、Claude Opus 4.8 は 123 回の試行のうち 112 回で同じ 5 つの選択を行った。実際のシナリオにおける影響はより小さい可能性がある。
- 検証は 1 つのタスク、1 つの分野、1 つのモデルのみで行われ、サンプル数は 50 人であった。AI を使用しない対照群は人数が少なく、経験値も低かったため、エラー率の差のすべてが AI に起因するものかどうかは特定できない。
- The Decoder は「事前に立場を表明した後に意見を変えた」割合の差を 53 ポイントと報じたが、公式データでは 54 ポイント（信頼区間 24 ～ 82）である。研究は 10 月 27 日に発表され、本号の期間より前であったが、本号では 10 月 29 日付のメディア報道に基づいて収録している。