Mise à jour par METR de la courbe de durée des tâches IA, incluant les tâches nécessitant du jugement

Selon le MIT Technology Review, l’organisme d’évaluation de l’IA METR a mis à jour sa « courbe de durée des tâches » : la version originale mesurait la longueur des tâches que les modèles pouvaient accomplir en fonction du temps nécessaire aux humains pour les réaliser, montrant que la longueur des tâches réalisables par les modèles de pointe doublait environ tous les quatre mois. La nouvelle version intègre des tâches plus longues et plus ouvertes, révélant que certaines capacités continuent d’augmenter de manière exponentielle, mais que les tâches nécessitant du jugement accusent un retard net. Par exemple, lorsqu’on demande aux modèles de concevoir de nouvelles évaluations IA pour METR, aucune proposition n’a été jugée utile par les employés de METR ; dans les tâches consistant à noter des arguments philosophiques, les modèles sont également moins performants que les humains. Sayash Kapoor, de l’Université de Californie à Berkeley, estime que les évaluations doivent faire preuve de plus de créativité et considère cette extension comme une évolution positive.

Titre original : The most misunderstood graph in AI just got a major update

Selon le MIT Technology Review, l’organisme d’évaluation de l’IA METR a mis à jour sa « courbe de durée des tâches » : la version originale mesurait la longueur des tâches que les modèles pouvaient accomplir en fonction du temps nécessaire aux humains pour les réaliser, montrant que la longueur des tâches réalisables par les modèles de pointe doublait environ tous les quatre mois. La nouvelle version intègre des tâches plus longues et plus ouvertes, révélant que certaines capacités continuent d’augmenter de manière exponentielle, mais que les tâches nécessitant du jugement accusent un retard net. Par exemple, lorsqu’on demande aux modèles de concevoir de nouvelles évaluations IA pour METR, aucune proposition n’a été jugée utile par les employés de METR ; dans les tâches consistant à noter des arguments philosophiques, les modèles sont également moins performants que les humains. Sayash Kapoor, de l’Université de Californie à Berkeley, estime que les évaluations doivent faire preuve de plus de créativité et considère cette extension comme une évolution positive.

Pourquoi c’est important Cette courbe est souvent utilisée pour prédire la progression de l’automatisation de la R&D par l’IA ; les nouvelles tâches montrent que les progrès réalisés sur des tâches vérifiables ne se transfèrent pas nécessairement aux tâches ouvertes.

Fiabilité : assez fiable · Source MIT Technology Review · Date de l’événement 11-21 02:15 (heure de Pékin)

Raisons

  • Le MIT Technology Review rapporte le nouveau rapport de METR et a interviewé des chercheurs externes
  • La courbe de METR est l’une des données les plus citées lors des discussions sur la vitesse des progrès de l’IA

Utilisation

  • Le rapport complet est disponible sur le site officiel de METR

Risques

  • Les nouvelles tâches sont difficiles à évaluer ; le rapport de METR précise également que ses employés divergent quant à la pertinence de certaines tâches par rapport à l’automatisation de la R&D en IA

Ouvrir

MIT Technology Review

Parcourir les dernières actualités IA