Оригинальное название: Our first phase of embedded assessments
OpenAI объявила о запуске пилотного проекта «встроенных оценок» первого этапа, в рамках которого исследователи из Apollo Research, METR, Transluce и Goodfire будут независимо оценивать выравнивание моделей, меры безопасности и системы мониторинга внутри компании. По данным TechCrunch, Apollo начинает работу на этой неделе, сосредоточившись на проверке того, пытаются ли модели подорвать механизмы выравнивания и контроля как собственных, так и последующих версий; Goodfire использует инструменты интерпретируемости для мониторинга процесса обучения; METR самостоятельно определяет объекты тестирования и проверяет, способны ли системы мониторинга OpenAI выявлять проблемы; Transluce оценивает достаточность самих посттренировочных оценок безопасности OpenAI. Apollo и Goodfire получают оплату за свою работу, тогда как METR и Transluce работают бесплатно.
Почему это важно Внешняя оценка смещается с выборочной проверки перед релизом на этап обучения и внутреннего развертывания; однако объем доступной информации определяется самой OpenAI, что вызывает сомнения в независимости процесса.
Достоверность: высокая · Источники: OpenAI и другие 2 организаций (включая официальные) · Время события: 11-16 16:00 (пекинское время)
Обоснование
- Публикация на официальном сайте OpenAI
- Репортаж TechCrunch со ссылкой на публичные условия сотрудничества Apollo
Использование
- Ознакомьтесь с описанием пилотного проекта на официальных сайтах OpenAI и Apollo Research
Риски
- Редакторам не удалось открыть оригинальный текст на сайте OpenAI (страница отказала в доступе), поэтому были сверены только официальная сводка OpenAI и репортаж TechCrunch
- Согласно данным TechCrunch, Apollo имеет доступ только к определенному персоналу и материалам, указанным OpenAI; компания оставляет за собой право не предоставлять часть информации по соображениям безопасности или защиты интеллектуальной собственности