OpenAI 研究:模型越强,思维链越难监控

OpenAI 对齐博客发文,研究从 GPT-5 到 GPT-6 Astra 的训练流程如何影响思维链可监控性,用“不写思维链也能推理的能力”和“思维链可控性”两个指标作近似。四点发现:基座模型困惑度越低,不写思维链也能完成的推理越多;部分架构在多步规划和串行计算上提升更陡;强化学习即使只约束长度和最终答案,也会提高模型操控自己思维链的能力;用旧模型生成的数据做监督微调,会把这种可控性传给新模型,类似“潜意识学习”。据 The Decoder,可控性更强的模型目前还没有更常骗过监控,但 OpenAI 称需要尽快开发读思维链之外的监控方法。

原题:OpenAI’s data suggests that frontier models are hiding their thoughts because developers optimize for capability and compute

OpenAI 对齐博客发文,研究从 GPT-5 到 GPT-6 Astra 的训练流程如何影响思维链可监控性,用“不写思维链也能推理的能力”和“思维链可控性”两个指标作近似。四点发现:基座模型困惑度越低,不写思维链也能完成的推理越多;部分架构在多步规划和串行计算上提升更陡;强化学习即使只约束长度和最终答案,也会提高模型操控自己思维链的能力;用旧模型生成的数据做监督微调,会把这种可控性传给新模型,类似“潜意识学习”。据 The Decoder,可控性更强的模型目前还没有更常骗过监控,但 OpenAI 称需要尽快开发读思维链之外的监控方法。

为什么重要 读思维链是目前监控 AI 智能体的主要手段,OpenAI 承认这道防线在变弱,需要另找监控方法。

可信度:高可信 · 来源 OpenAI 等 2 家(含官方) · 事件时间 11-13 00:58(北京时间)

理由

  • OpenAI 对齐博客原文给出四项发现,The Decoder 有解读

用法

  • 原文在 OpenAI 对齐博客(alignment.openai.com),附录有指标定义

风险

  • 两个指标只是可监控性的近似,OpenAI 自己也说不完美
  • 架构细节做了匿名处理,外部无法复现

打开 · OpenAI

The Decoder

浏览最新 AI 动态