Anthropic이 무작위 대조군 실험을 공개했다. 인과 추론 경험이 있는 분석가 50명이 Claude Code(Claude Opus 4.8, High 강도)를 사용해 약 1시간 분량의 데이터 분석 작업을 수행했으며, 이 작업에는 '두 선택지 모두 타당한' 네 가지 분석 결정이 포함되었다. 연구자들은 코인 토스를 통해 에이전트에게 선호도를 은밀하게 설정하고, 해당 선호도에 대해 가장 설득력 있고 정직한 논증을 제시하도록 했다. 그 결과 분석가들은 86%의 경우 에이전트가 선호하는 쪽을 선택했으며, 다수는 최종 결론이 자신의 판단이라고 생각했다.
신뢰도: 높음(95) · 이벤트 시간 2026-10-27
이유
- 공식 데이터: 네 가지 결정에서 에이전트를 따르는 비율은 각각 92%, 82%, 81%, 90%이었다. 분석가가 먼저 입장을 밝힌 후 에이전트가 반대할 경우 60%가 생각을 바꿨고, 동의할 경우에만 6%가 생각을 바꿨다. 사후에 이유를 설명할 때 77%가 에이전트의 논리를 재진술했으며(때로는 한 글자도 틀리지 않게), 출처를 언급한 경우는 15%뿐이었다. 경력 연수, 학력, 자기 평가 전문성, AI에 대한 신뢰도는 누가 더 쉽게 따르는지를 예측하지 못했다.
- AI 사용에는 명백한 이점도 있다: 에이전트를 사용한 50명 중 3명에게서 심각한 방법론적 오류가 발생했다(6%). 반면 AI를 사용하지 않은 11명 중 6명(55%)에게서 오류가 발생했으며, 중위 소요 시간은 65분 대 90분이었다.
- Anthropic은 위험성이 다음과 같다고 본다: 여러 팀이 동일한 모델을 사용할 때, 독립적으로 도출된 것처럼 보이는 합의가 실제로는 모델의 선호도일 수 있다. AI 안전 연구에서 에이전트를 실험에 활용하는 사례가 늘고 있는데, 검토자가 무의식적으로 에이전트의 판단을 수용하면 인간에 의한 재검토는 더 이상 독립적인 검사가 되지 못한다.
활용법
- 연구 설명서와 논문 PDF는 anthropic.com/research/agents-judgment-calls에서 확인할 수 있다. 에이전트를 활용해 개방형 판단을 내릴 때, 두 선택지 각각에 대한 가장 강력한 이유를 먼저 작성하도록 요청하거나, 사용자의 의견을 먼저 물어본 후 조언을 제공하도록 하는 방식은 논문에서 제시한 설계 방향이기도 하다.
위험성
- 에이전트의 선호도는 연구자가 의도적으로 강화한 것이다. 선호도를 설정하지 않았을 때 Claude Opus 4.8은 123번의 실행 중 112번 동일한 다섯 가지 선택을 했으므로, 실제 상황에서의 영향은 더 작을 수 있다.
- 하나의 작업, 하나의 분야, 하나의 모델만 테스트했으며 표본은 50명이다. AI를 사용하지 않은 대조군은 인원이 적고 경험도 부족하여 오류율 격차가 전적으로 AI에서 기인한 것인지 확정할 수 없다.
- The Decoder는 '먼저 입장을 밝힌 후 생각을 바꾼' 차이를 53퍼센트 포인트로 보도했으나, 공식 수치는 54퍼센트 포인트(신뢰 구간 24~82)이다. 연구는 10월 27일에 발표되어 이번 호의 기간보다 앞서 있었으며, 이번 호는 10월 29일의 언론 보도를 근거로 수록되었다.