OpenAI привлекает четыре внешние организации для проведения оценки безопасности моделей на месте

OpenAI объявила о запуске пилотного проекта «встроенных оценок» первого этапа, в рамках которого исследователи из Apollo Research, METR, Transluce и Goodfire будут независимо оценивать выравнивание моделей, меры безопасности и системы мониторинга внутри компании. По данным TechCrunch, Apollo начинает работу на этой неделе, сосредоточившись на проверке того, пытаются ли модели подорвать механизмы выравнивания и контроля как собственных, так и последующих версий; Goodfire использует инструменты интерпретируемости для мониторинга процесса обучения; METR самостоятельно определяет объекты тестирования и проверяет, способны ли системы мониторинга OpenAI выявлять проблемы; Transluce оценивает достаточность самих посттренировочных оценок безопасности OpenAI. Apollo и Goodfire получают оплату за свою работу, тогда как METR и Transluce работают бесплатно.

Оригинальное название: Our first phase of embedded assessments

OpenAI объявила о запуске пилотного проекта «встроенных оценок» первого этапа, в рамках которого исследователи из Apollo Research, METR, Transluce и Goodfire будут независимо оценивать выравнивание моделей, меры безопасности и системы мониторинга внутри компании. По данным TechCrunch, Apollo начинает работу на этой неделе, сосредоточившись на проверке того, пытаются ли модели подорвать механизмы выравнивания и контроля как собственных, так и последующих версий; Goodfire использует инструменты интерпретируемости для мониторинга процесса обучения; METR самостоятельно определяет объекты тестирования и проверяет, способны ли системы мониторинга OpenAI выявлять проблемы; Transluce оценивает достаточность самих посттренировочных оценок безопасности OpenAI. Apollo и Goodfire получают оплату за свою работу, тогда как METR и Transluce работают бесплатно.

Почему это важно Внешняя оценка смещается с выборочной проверки перед релизом на этап обучения и внутреннего развертывания; однако объем доступной информации определяется самой OpenAI, что вызывает сомнения в независимости процесса.

Достоверность: высокая · Источники: OpenAI и другие 2 организаций (включая официальные) · Время события: 11-16 16:00 (пекинское время)

Обоснование

  • Публикация на официальном сайте OpenAI
  • Репортаж TechCrunch со ссылкой на публичные условия сотрудничества Apollo

Использование

  • Ознакомьтесь с описанием пилотного проекта на официальных сайтах OpenAI и Apollo Research

Риски

  • Редакторам не удалось открыть оригинальный текст на сайте OpenAI (страница отказала в доступе), поэтому были сверены только официальная сводка OpenAI и репортаж TechCrunch
  • Согласно данным TechCrunch, Apollo имеет доступ только к определенному персоналу и материалам, указанным OpenAI; компания оставляет за собой право не предоставлять часть информации по соображениям безопасности или защиты интеллектуальной собственности

Открыть · TechCrunch

OpenAI

Открыть последние новости ИИ