原題:Combatting adversarial distillation
OpenAIは11月20日に投稿し、敵対的蒸留(無断で同社のモデル出力を用いて他のモデルを訓練すること)への対処法を紹介した。その手法には、敵対的テスト、モデル訓練、分類器、API層での防御、そして協調的な抽出行為に対する調査が含まれる。重点はモデル内部の推論プロセス(思考チェーン)の保護にある。OpenAIは、内部の適応型レッドチームテストにおいて、過去の要求から推論内容を抽出する平均攻撃成功率が、従来の防御下でのGPT-6 Astraの54.0%から、新しい防御下でのGPT-6.2 Astraの0.2%に低下したと述べている。The Decoderによると、進行中の要求に対する攻撃成功率は22.9%から0.9%に低下し、OpenAIは週に数千から数万件のアカウントを禁止している。一部の改善はGPT-6 Astraにも適用される予定だ。OpenAIはさらに内部研究も公開しており、学生モデルが教師モデルの生推論軌跡を取得した場合、公開出力のみを見た場合よりも、ネットワーク攻撃・防御能力をより多く学習することが明らかになった。
なぜ重要か 蒸留により、最先端モデルのネットワーク攻撃・防御能力を、セキュリティ対策が施されていないモデルへ転写できる可能性がある。OpenAIは、蒸留対策をバイオセキュリティやサイバーセキュリティと同等の優先度で扱っている。
信頼性:高信頼 · 出典:OpenAIなど2社(公式含む) · イベント日時:11-20 18:00(北京時間)
理由
- OpenAIの公式記事で、内部評価データが付随している
- The Decoderが報道し、Anthropicの同様の取り組みについても補足している
用途
- なし
リスク
- 攻撃成功率はOpenAIの内部評価に基づくものであり、外部からの検証は不可能