METR обновляет кривую длительности задач ИИ, добавляя задачи, требующие суждения

Согласно MIT Technology Review, организация по оценке ИИ METR обновила кривую «длительности задач»: оригинальная версия измеряла, насколько длинные задачи могут выполнять модели, исходя из времени, необходимого человеку для их выполнения, и показывала, что длина задач, выполняемых передовыми моделями, удваивается примерно каждые четыре месяца. Новая версия включает более длительные и открытые задачи, и результаты показывают, что некоторые способности продолжают расти экспоненциально, но задачи, требующие суждения, явно отстают. Например, когда моделям предложили разработать новые тесты ИИ для METR, ни одно из предложений не было признано полезным сотрудниками METR; в задачах по оценке философских аргументов модели также уступают людям. Саяш Капур из Калифорнийского университета в Беркли считает, что тестирование должно быть более креативным, и это расширение является позитивным изменением.

Оригинальное название: The most misunderstood graph in AI just got a major update

Согласно MIT Technology Review, организация по оценке ИИ METR обновила кривую «длительности задач»: оригинальная версия измеряла, насколько длинные задачи могут выполнять модели, исходя из времени, необходимого человеку для их выполнения, и показывала, что длина задач, выполняемых передовыми моделями, удваивается примерно каждые четыре месяца. Новая версия включает более длительные и открытые задачи, и результаты показывают, что некоторые способности продолжают расти экспоненциально, но задачи, требующие суждения, явно отстают. Например, когда моделям предложили разработать новые тесты ИИ для METR, ни одно из предложений не было признано полезным сотрудниками METR; в задачах по оценке философских аргументов модели также уступают людям. Саяш Капур из Калифорнийского университета в Беркли считает, что тестирование должно быть более креативным, и это расширение является позитивным изменением.

Почему это важно Эта кривая часто используется для прогнозирования прогресса в автоматизации НИОКР с помощью ИИ; новые задачи показывают, что прогресс в верифицируемых задачах не обязательно переносится на открытые задачи.

Достоверность: достаточно достоверно · Источник MIT Technology Review · Время события 11-21 02:15 (пекинское время)

Обоснование

  • MIT Technology Review освещает новый отчет METR и берет интервью у внешних исследователей
  • Кривая METR является одними из наиболее цитируемых данных при обсуждении скорости прогресса ИИ

Использование

  • Полный отчет доступен на официальном сайте METR

Риски

  • Новые задачи сложно оценивать; в отчете METR также отмечается, что среди сотрудников существуют разногласия относительно корреляции между некоторыми задачами и автоматизацией НИОКР в области ИИ

Открыть

MIT Technology Review

Открыть последние новости ИИ