원제: Combatting adversarial distillation
OpenAI가 11월 20일에 게시한 글에서는 적대적 증류(허가 없이 자사 모델의 출력으로 다른 모델을 학습시키는 행위)에 대응하기 위한 방법론을 소개했습니다. 여기에는 적대적 테스트, 모델 학습, 분류기, API 계층 보호 조치, 그리고 협력적 추출 행위에 대한 조사가 포함됩니다. 핵심은 모델 내부의 추론 과정(사고 과정)을 보호하는 것입니다. OpenAI는 내부 적응형 레드팀 테스트에서 이전 요청에서 추론 내용을 추출하는 평균 공격 성공률이 기존 보호 조치 하의 GPT-6 Astra에서 54.0%에서 새로운 보호 조치 하의 GPT-6.2 Astra에서 0.2%로 감소했다고 밝혔습니다. The Decoder에 따르면, 진행 중인 요청에 대한 공격 성공률은 22.9%에서 0.9%로 감소했으며, OpenAI는 매주 수천에서 수만 개의 계정을 차단하고 있고, 일부 개선 사항은 GPT-6 Astra에도 적용될 예정입니다. 또한 OpenAI는 내부 연구를 공개했는데, 학생 모델이 교사 모델의 원시 추론 궤적을 확보할 경우 공개된 출력만 보는 것보다 사이버 공격 및 방어 능력을 더 많이 학습한다는 내용이었습니다.
왜 중요한가 증류를 통해 최전선 모델의 사이버 공격 및 방어 능력을 보안 보호 장치가 없는 모델로 이전할 수 있으며, OpenAI는 이미 증류 방지를 생물학적 안전성 및 사이버 보안과 동등한 수준으로 격상시켰습니다.
신뢰도: 높음 · 출처: OpenAI 등 2개 기관(공식 포함) · 사건 발생 시간: 11-20 18:00 (베이징 시간)
이유
- OpenAI 공식 기사, 내부 평가 데이터 첨부
- The Decoder가 보도하며 Anthropic의 유사한 접근 방식을 추가로 설명함
용도
- 없음
리스크
- 공격 성공률은 OpenAI의 내부 평가에서 나온 것으로, 외부에서 검증할 수 없음