원제: Our first phase of embedded assessments
OpenAI가 1단계 '임베디드 평가(embedded assessments)' 시범 사업을 발표하며 Apollo Research, METR, Transluce, Goodfire의 연구원들이 내부에서 모델의 정렬(alignment), 안전 조치 및 모니터링 시스템을 독립적으로 평가하도록 했습니다. TechCrunch에 따르면, Apollo는 이번 주부터 시작하여 모델이 자신이나 후속 모델의 정렬 및 통제 메커니즘을 훼손하려 시도하는지 여부를 중점적으로 조사합니다. Goodfire는 해석 가능성(interpretability) 도구를 사용하여 훈련 과정을 모니터링하고, METR은 자체적으로 테스트 항목을 결정하며 OpenAI의 모니터링 시스템이 문제를 발견할 수 있는지 검증합니다. Transluce는 OpenAI의 사후 훈련 안전 평가 자체가 충분한지 검토합니다. Apollo와 Goodfire는 보수를 받으며, METR과 Transluce는 무보수로 참여합니다.
중요성 외부 평가가 출시 전 샘플링에서 훈련 기간 및 내부 배포 단계로 앞당겨졌지만, 접근 가능한 정보는 OpenAI가 설정한 범위에 한정되어 있어 독립성에 대한 의문이 여전히 제기됩니다.
신뢰도: 높음 · 출처: OpenAI 등 2개 기관(공식 포함) · 사건 발생 시간: 11-16 16:00 (베이징 시간)
근거
- OpenAI 공식 웹사이트 발표
- TechCrunch 보도, Apollo의 공개된 협력 조건 인용
활용 방법
- OpenAI 공식 웹사이트와 Apollo Research 공식 웹사이트에서 시범 사업 설명 확인
리스크
- 편집자가 OpenAI 원문 페이지에 접근하지 못해(페이지 접근 거부), OpenAI 공식 요약과 TechCrunch 보도만 검증함
- TechCrunch에 따르면, Apollo는 OpenAI가 지정한 인력과 자료에만 접근할 수 있으며, OpenAI는 보안 또는 지식 재산권을 이유로 일부 정보를 제공하지 않을 권리를 보유함
열기 · TechCrunch