OpenAI 公布防蒸馏措施,加固思维链保护

OpenAI 11 月 20 日发文介绍应对对抗性蒸馏(未经授权用其模型输出训练别的模型)的做法:对抗测试、模型训练、分类器、API 层防护,加上对协同提取行为的调查。重点是保护模型内部的推理过程(思维链),OpenAI 称在内部自适应红队测试中,从此前请求里提取推理内容的平均攻击成功率,从原防护下 GPT-6 Astra 的 54.0% 降到新防护下 GPT-6.2 Astra 的 0.2%。据 The Decoder,针对进行中请求的攻击成功率从 22.9% 降到 0.9%,OpenAI 每周封禁数千到数万个账号,部分改进也会用到 GPT-6 Astra 上。OpenAI 还公布了内部研究:学生模型拿到教师模型的原始推理轨迹后,学到的网络攻防能力比只看公开输出更多。

原题:Combatting adversarial distillation

OpenAI 11 月 20 日发文介绍应对对抗性蒸馏(未经授权用其模型输出训练别的模型)的做法:对抗测试、模型训练、分类器、API 层防护,加上对协同提取行为的调查。重点是保护模型内部的推理过程(思维链),OpenAI 称在内部自适应红队测试中,从此前请求里提取推理内容的平均攻击成功率,从原防护下 GPT-6 Astra 的 54.0% 降到新防护下 GPT-6.2 Astra 的 0.2%。据 The Decoder,针对进行中请求的攻击成功率从 22.9% 降到 0.9%,OpenAI 每周封禁数千到数万个账号,部分改进也会用到 GPT-6 Astra 上。OpenAI 还公布了内部研究:学生模型拿到教师模型的原始推理轨迹后,学到的网络攻防能力比只看公开输出更多。

为什么重要 蒸馏能把前沿模型的网络攻防能力搬到没有安全防护的模型上,OpenAI 已把防蒸馏提到和生物、网络安全同级。

可信度:高可信 · 来源 OpenAI 等 2 家(含官方) · 事件时间 11-20 18:00(北京时间)

理由

  • OpenAI 官方文章,附内部评测数据
  • The Decoder 报道并补充了 Anthropic 的同类做法

用法

  • 无

风险

  • 攻击成功率来自 OpenAI 内部评测,外部无法复核

打开 · The Decoder

OpenAI

浏览最新 AI 动态