OpenAI、モデルの安全性評価のため外部機関4社を常駐させる

OpenAIは第1フェーズの「組み込み評価」パイロットを発表し、Apollo Research、METR、Transluce、Goodfireの研究者が社内において、モデルのアライメント、安全対策、監視システムを独立して評価できるようにした。TechCrunchによると、Apolloは今週から開始し、モデルが自身や後続モデルのアライメントおよび制御メカニズムを破壊しようとしていないかを重点的に調査する。Goodfireは解釈可能性ツールを用いてトレーニングを監視する。METRはテスト内容を自主的に決定し、OpenAIの監視システムが問題を発見できるかどうかを検証する。Transluceは、OpenAIのポストトレーニング安全評価自体が十分であるかどうかを審査する。ApolloとGoodfireは報酬を受け取るが、METRとTransluceは無償で実施する。

原題:Our first phase of embedded assessments

OpenAIは第1フェーズの「組み込み評価」パイロットを発表し、Apollo Research、METR、Transluce、Goodfireの研究者が社内において、モデルのアライメント、安全対策、監視システムを独立して評価できるようにした。TechCrunchによると、Apolloは今週から開始し、モデルが自身や後続モデルのアライメントおよび制御メカニズムを破壊しようとしていないかを重点的に調査する。Goodfireは解釈可能性ツールを用いてトレーニングを監視する。METRはテスト内容を自主的に決定し、OpenAIの監視システムが問題を発見できるかどうかを検証する。Transluceは、OpenAIのポストトレーニング安全評価自体が十分であるかどうかを審査する。ApolloとGoodfireは報酬を受け取るが、METRとTransluceは無償で実施する。

なぜ重要か 外部評価がリリース前の抜き打ち検査から、トレーニング期間および社内デプロイ段階へと前倒しされた。しかし、閲覧可能な範囲はOpenAIによって定められており、独立性には依然として疑問が残る。

信頼性:高信頼 · 出典 OpenAIなど 2 社(公式含む) · イベント日時 11-16 16:00(北京時間)

理由

  • OpenAI公式サイトで発表
  • TechCrunchによる報道、Apolloが公開した協力条件を引用

使い方

  • OpenAI公式サイトおよびApollo Research公式サイトでパイロットの説明を読む

リスク

  • 編集者はOpenAIの原文を開くことができなかった(ページへのアクセス拒否)。OpenAI公式の要約とTechCrunchの報道のみを確認した
  • TechCrunchによると、ApolloはOpenAIが指定する人員および資料にのみアクセス可能であり、OpenAIはセキュリティまたは知的財産権を理由に一部の情報を提供しない権利を留保している

開く · TechCrunch

OpenAI

最新の AI ニュースを見る