Titre original : Combatting adversarial distillation
OpenAI a publié un article le 11 20 détaillant ses méthodes de lutte contre la distillation adversariale (utilisation non autorisée des sorties de ses modèles pour entraîner d'autres modèles) : tests adversariaux, entraînement des modèles, classificateurs, protections au niveau de l'API, ainsi qu'une enquête sur les comportements d'extraction coordonnés. L'accent est mis sur la protection du processus de raisonnement interne des modèles (chaîne de raisonnement). OpenAI affirme que, lors de tests internes de red teaming adaptatif, le taux de réussite moyen des attaques visant à extraire le contenu du raisonnement à partir de requêtes antérieures est passé de 54.0% pour GPT-6 Astra avec les protections initiales à 0.2% pour GPT-6.2 Astra avec les nouvelles protections. Selon The Decoder, le taux de réussite des attaques visant les requêtes en cours a chuté de 22.9% à 0.9%. OpenAI bannit chaque semaine plusieurs milliers à plusieurs dizaines de milliers de comptes, et certaines améliorations seront également appliquées à GPT-6 Astra. OpenAI a également publié une étude interne montrant que les modèles étudiants acquièrent davantage de capacités offensives et défensives en cybersécurité lorsqu'ils ont accès aux traces de raisonnement brutes des modèles enseignants, par rapport à une exposition limitée aux seules sorties publiques.
Pourquoi c'est important La distillation permet de transférer les capacités offensives et défensives en cybersécurité des modèles de pointe vers des modèles dépourvus de mesures de sécurité. OpenAI a élevé la lutte contre la distillation au même niveau de priorité que la biosécurité et la cybersécurité.
Fiabilité : Fiabilité élevée · Sources : OpenAI et 2 autres (y compris des sources officielles) · Date de l'événement : 11-20 18:00 (heure de Pékin)
Justification
- Article officiel d'OpenAI, accompagné de données d'évaluation internes
- Couverture par The Decoder, complétée par des informations sur les pratiques similaires d'Anthropic
Utilisation
- Aucune
Risques
- Les taux de réussite des attaques proviennent d'évaluations internes d'OpenAI et ne peuvent pas être vérifiés indépendamment