Оригинальное название: Combatting adversarial distillation
OpenAI 11 20 опубликовала статью, в которой описала методы противодействия враждебной дистилляции (несанкционированному использованию выходов её моделей для обучения других моделей): адверсариальное тестирование, обучение моделей, классификаторы, защита на уровне API, а также расследование случаев совместного извлечения данных. Основной акцент сделан на защите внутреннего процесса рассуждений модели (цепочки рассуждений). По заявлению OpenAI, в ходе внутреннего адаптивного тестирования красной командой средний показатель успешности атак по извлечению содержимого рассуждений из предыдущих запросов снизился с 54.0% для GPT-6 Astra при прежней защите до 0.2% для GPT-6.2 Astra при новой защите. Согласно изданию The Decoder, успешность атак на текущие запросы снизилась с 22.9% до 0.9%. OpenAI еженедельно блокирует от нескольких тысяч до десятков тысяч аккаунтов, а некоторые улучшения также будут внедрены в GPT-6 Astra. Кроме того, OpenAI опубликовала внутреннее исследование: студентные модели, получившие сырые траектории рассуждений от учительских моделей, осваивают навыки сетевых атак и защиты в большей степени, чем при обучении только на публичных выходных данных.
Почему это важно Дистилляция позволяет перенести навыки сетевых атак и защиты передовых моделей на модели без мер безопасности. OpenAI уже поставила защиту от дистилляции в один ряд с вопросами биобезопасности и кибербезопасности.
Достоверность: Высокая · Источник: OpenAI и ещё 2 организаций (включая официальные) · Время события: 11-20 18:00 (пекинское время)
Обоснование
- Официальная статья OpenAI с данными внутренних оценок
- Издание The Decoder сообщило об этом и дополнило информацию аналогичными мерами Anthropic
Применение
- Отсутствует
Риски
- Показатели успешности атак основаны на внутренних оценках OpenAI и не могут быть проверены извне