METR, AI 작업 시간 곡선 업데이트: 판단력이 필요한 작업 추가

MIT Technology Review에 따르면, AI 평가 기관 METR이 '작업 시간' 곡선을 업데이트했습니다. 기존 버전은 인간이 작업을 완료하는 데 걸리는 시간을 기준으로 모델이 얼마나 긴 작업을 수행할 수 있는지를 측정했으며, 최신 모델이 수행할 수 있는 작업 길이가 약 4개월마다 두 배로 증가한다는 것을 보여주었습니다. 새 버전에서는 시간이 더 오래 걸리고 개방적인 작업들이 추가되었으며, 그 결과 일부 능력은 여전히 지수적으로 향상되고 있지만 판단력이 필요한 작업에서는 뚜렷한 지연이 나타났습니다. 예를 들어 모델에게 METR을 위한 새로운 AI 평가를 설계하도록 요청했을 때, METR 직원 중 누구도 유용하다고 생각한 방안이 없었습니다. 철학적 논증에 점수를 매기는 작업에서도 모델은 인간보다 못했습니다. UC Berkeley의 Sayash Kapoor는 평가가 더 창의적이어야 한다고 보며, 이번 확장은 긍정적인 변화라고 평가했습니다.

원제: AI에서 가장 오해받는 그래프가 주요 업데이트를 받았습니다

MIT Technology Review에 따르면, AI 평가 기관 METR이 '작업 시간' 곡선을 업데이트했습니다. 기존 버전은 인간이 작업을 완료하는 데 걸리는 시간을 기준으로 모델이 얼마나 긴 작업을 수행할 수 있는지를 측정했으며, 최신 모델이 수행할 수 있는 작업 길이가 약 4개월마다 두 배로 증가한다는 것을 보여주었습니다. 새 버전에서는 시간이 더 오래 걸리고 개방적인 작업들이 추가되었으며, 그 결과 일부 능력은 여전히 지수적으로 향상되고 있지만 판단력이 필요한 작업에서는 뚜렷한 지연이 나타났습니다. 예를 들어 모델에게 METR을 위한 새로운 AI 평가를 설계하도록 요청했을 때, METR 직원 중 누구도 유용하다고 생각한 방안이 없었습니다. 철학적 논증에 점수를 매기는 작업에서도 모델은 인간보다 못했습니다. UC Berkeley의 Sayash Kapoor는 평가가 더 창의적이어야 한다고 보며, 이번 확장은 긍정적인 변화라고 평가했습니다.

중요성 이 곡선은 종종 AI 연구 개발 자동화 진행 상황을 예측하는 데 사용됩니다. 새로운 작업들은 검증 가능한 작업에서의 진전이 반드시 개방형 작업으로 이전되지 않을 수 있음을 보여줍니다.

신뢰도: 비교적 신뢰할 수 있음 · 출처 MIT Technology Review · 사건 시간 11-21 02:15 (베이징 시간)

이유

  • MIT Technology Review가 METR의 새로운 보고서를 보도하고 외부 연구자들을 인터뷰했습니다
  • METR 곡선은 AI 진전 속도를 논의할 때 가장 많이 인용되는 데이터 중 하나입니다

활용법

  • METR 공식 웹사이트에서 전체 보고서를 확인할 수 있습니다

리스크

  • 새로운 작업은 채점하기 어렵습니다. METR 보고서에도 직원들 사이에서 일부 작업과 AI 연구 개발 자동화 간의 관련성에 대해 의견이 엇갈린다고 명시되어 있습니다

열기

MIT Technology Review

최신 AI 소식 보기