原題:Our first phase of embedded assessments
OpenAIは第1フェーズの「組み込み評価」パイロットを発表し、Apollo Research、METR、Transluce、Goodfireの研究者が社内において、モデルのアライメント、安全対策、監視システムを独立して評価できるようにした。TechCrunchによると、Apolloは今週から開始し、モデルが自身や後続モデルのアライメントおよび制御メカニズムを破壊しようとしていないかを重点的に調査する。Goodfireは解釈可能性ツールを用いてトレーニングを監視する。METRはテスト内容を自主的に決定し、OpenAIの監視システムが問題を発見できるかどうかを検証する。Transluceは、OpenAIのポストトレーニング安全評価自体が十分であるかどうかを審査する。ApolloとGoodfireは報酬を受け取るが、METRとTransluceは無償で実施する。
なぜ重要か 外部評価がリリース前の抜き打ち検査から、トレーニング期間および社内デプロイ段階へと前倒しされた。しかし、閲覧可能な範囲はOpenAIによって定められており、独立性には依然として疑問が残る。
信頼性:高信頼 · 出典 OpenAIなど 2 社(公式含む) · イベント日時 11-16 16:00(北京時間)
理由
- OpenAI公式サイトで発表
- TechCrunchによる報道、Apolloが公開した協力条件を引用
使い方
- OpenAI公式サイトおよびApollo Research公式サイトでパイロットの説明を読む
リスク
- 編集者はOpenAIの原文を開くことができなかった(ページへのアクセス拒否)。OpenAI公式の要約とTechCrunchの報道のみを確認した
- TechCrunchによると、ApolloはOpenAIが指定する人員および資料にのみアクセス可能であり、OpenAIはセキュリティまたは知的財産権を理由に一部の情報を提供しない権利を留保している
開く · TechCrunch