Titre original : Our first phase of embedded assessments
OpenAI a annoncé la première phase de son programme pilote d'« évaluations intégrées », permettant aux chercheurs d'Apollo Research, de METR, de Transluce et de Goodfire d'évaluer de manière indépendante, en interne, l'alignement des modèles, les mesures de sécurité et les systèmes de surveillance. Selon TechCrunch, Apollo a commencé cette semaine, se concentrant sur la vérification que les modèles ne tentent pas de compromettre les mécanismes d'alignement et de contrôle d'eux-mêmes ou des modèles ultérieurs ; Goodfire utilise des outils d'interprétabilité pour surveiller l'entraînement ; METR détermine de manière autonome ce qui doit être testé et vérifie si la surveillance d'OpenAI permet de détecter les problèmes ; Transluce examine si les évaluations de sécurité post-entraînement d'OpenAI sont elles-mêmes suffisantes. Apollo et Goodfire sont rémunérés, tandis que METR et Transluce ne sont pas payés.
Pourquoi c'est important Les évaluations externes sont avancées de la vérification ponctuelle avant la publication à la période d'entraînement et au déploiement interne ; mais ce qui est accessible est défini par OpenAI, et l'indépendance reste mise en doute.
Fiabilité : Haute fiabilité · Sources OpenAI et 2 autres (y compris officielles) · Date de l'événement 11-16 16:00 (heure de Pékin)
Raisons
- Publication sur le site officiel d'OpenAI
- Reportage de TechCrunch, citant les conditions de collaboration publiques d'Apollo
Utilisation
- Lire les descriptions du programme pilote sur les sites officiels d'OpenAI et d'Apollo Research
Risques
- L'éditeur n'a pas pu ouvrir le texte original d'OpenAI (accès refusé à la page), n'ayant vérifié que le résumé officiel d'OpenAI et le reportage de TechCrunch
- Selon TechCrunch, Apollo n'a accès qu'au personnel et aux documents désignés par OpenAI, et OpenAI se réserve le droit de ne pas fournir certaines informations pour des raisons de sécurité ou de propriété intellectuelle