Anthropic 实验:专家用 AI 智能体做分析时,大多跟着智能体被随机设定的立场走

Anthropic 发布一项随机对照实验:50 名有因果推断经验的分析师用 Claude Code(Claude Opus 4.8,High 强度)完成一项约一小时的数据分析,任务里有四个“两个选项都合理”的分析决定。研究者暗中用抛硬币给智能体设定偏好,让它为这一方给出最有力的诚实论证。结果分析师在 86% 的情况下选了智能体倾向的那一项,而且多数人认为最终结论是自己的判断。

Anthropic 发布一项随机对照实验:50 名有因果推断经验的分析师用 Claude Code(Claude Opus 4.8,High 强度)完成一项约一小时的数据分析,任务里有四个“两个选项都合理”的分析决定。研究者暗中用抛硬币给智能体设定偏好,让它为这一方给出最有力的诚实论证。结果分析师在 86% 的情况下选了智能体倾向的那一项,而且多数人认为最终结论是自己的判断。

置信度:高(95) · 事件时间 2026-10-27

理由

  • 官方数据:四个决定上跟随智能体的比例分别为 92%、82%、81%、90%;分析师先表态后,智能体反对时有 60% 改主意,赞同时只有 6%;事后解释理由时 77% 复述了智能体的论点(有时一字不差),只有 15% 提到来源;年限、学历、自评专业度、对 AI 的信任都不能预测谁更容易跟随。
  • 用 AI 也有明显好处:用智能体的 50 人里 3 人出现严重方法错误(6%),选择不用的 11 人里有 6 人(55%),中位用时 65 分钟对 90 分钟。
  • Anthropic 认为风险在于:多个团队用同一个模型时,看似独立得出的共识可能只是模型的偏好;AI 安全研究越来越多让智能体跑实验,如果审核者不知不觉采纳智能体的判断,人工复核就不再是独立检查。

用法

  • 研究说明和论文 PDF 在 anthropic.com/research/agents-judgment-calls。用智能体做开放式判断时,可以要求它先把两种选择各自最有力的理由都写出来,或先问你的看法再给建议,这也是论文给出的设计方向。

风险

  • 智能体的偏好是研究者有意加强的;不设偏好时 Claude Opus 4.8 在 123 次运行里有 112 次做出同样五个选择,真实场景的影响可能更小。
  • 只测了一个任务、一个领域、一个模型,样本 50 人;不用 AI 的对照组人数少、经验也更少,无法确定错误率差距全部来自 AI。
  • The Decoder 把“先表态后改主意”的差距写成 53 个百分点,官方为 54 个百分点(置信区间 24 到 82)。研究 10 月 27 日发布,早于本期窗口,本期据 10 月 29 日的媒体报道收录。

打开 · Anthropic 研究

The Decoder

浏览最新 AI 动态