OpenAI 请四家外部机构驻场评估模型安全

OpenAI 宣布第一阶段“嵌入式评估”试点,让 Apollo Research、METR、Transluce 和 Goodfire 的研究人员在内部独立评估模型的对齐、安全措施和监控系统。据 TechCrunch,Apollo 本周开始,重点查模型是否试图破坏自身或后续模型的对齐和控制机制;Goodfire 用可解释性工具监控训练;METR 自主决定测什么,并检验 OpenAI 的监控能否发现问题;Transluce 审查 OpenAI 训练后安全评估本身是否够用。Apollo 和 Goodfire 收取报酬,METR 和 Transluce 不收费。

原题:Our first phase of embedded assessments

OpenAI 宣布第一阶段“嵌入式评估”试点,让 Apollo Research、METR、Transluce 和 Goodfire 的研究人员在内部独立评估模型的对齐、安全措施和监控系统。据 TechCrunch,Apollo 本周开始,重点查模型是否试图破坏自身或后续模型的对齐和控制机制;Goodfire 用可解释性工具监控训练;METR 自主决定测什么,并检验 OpenAI 的监控能否发现问题;Transluce 审查 OpenAI 训练后安全评估本身是否够用。Apollo 和 Goodfire 收取报酬,METR 和 Transluce 不收费。

为什么重要 外部评估从发布前抽查前移到训练期和内部部署;但能看什么由 OpenAI 划定,独立性仍受质疑。

可信度:高可信 · 来源 OpenAI 等 2 家(含官方) · 事件时间 11-16 16:00(北京时间)

理由

  • OpenAI 官网发布
  • TechCrunch 报道,引用 Apollo 公开的合作条件

用法

  • 在 OpenAI 官网和 Apollo Research 官网阅读试点说明

风险

  • 编辑未能打开 OpenAI 原文(页面拒绝访问),只核对了 OpenAI 官方摘要和 TechCrunch 报道
  • 据 TechCrunch,Apollo 只能接触 OpenAI 指定的人员和资料,OpenAI 保留以安全或知识产权为由不提供部分信息的权利

打开 · TechCrunch

OpenAI

浏览最新 AI 动态