METR cập nhật đường cong thời lượng tác vụ AI, bổ sung các tác vụ đòi hỏi khả năng phán đoán

Theo MIT Technology Review, tổ chức đánh giá AI METR đã cập nhật đường cong “thời lượng tác vụ”: phiên bản gốc đo lường độ dài của các tác vụ mà mô hình có thể hoàn thành dựa trên thời gian con người cần để thực hiện chúng, cho thấy độ dài của các tác vụ mà các mô hình tiên tiến nhất có thể hoàn thành tăng gấp đôi khoảng mỗi bốn tháng. Phiên bản mới bổ sung các tác vụ tốn nhiều thời gian hơn và mang tính mở hơn; kết quả cho thấy một số năng lực vẫn đang tăng theo hàm mũ, nhưng các tác vụ đòi hỏi khả năng phán đoán lại tụt hậu rõ rệt. Ví dụ, khi yêu cầu mô hình thiết kế các bài đánh giá AI mới cho METR, không có phương án nào được nhân viên METR coi là hữu ích; trong các tác vụ chấm điểm lập luận triết học, mô hình cũng kém hơn con người. Sayash Kapoor từ Đại học California Berkeley cho rằng việc đánh giá cần sáng tạo hơn, và lần mở rộng này là một thay đổi tích cực.

Tựa gốc: The most misunderstood graph in AI just got a major update

Theo MIT Technology Review, tổ chức đánh giá AI METR đã cập nhật đường cong “thời lượng tác vụ”: phiên bản gốc đo lường độ dài của các tác vụ mà mô hình có thể hoàn thành dựa trên thời gian con người cần để thực hiện chúng, cho thấy độ dài của các tác vụ mà các mô hình tiên tiến nhất có thể hoàn thành tăng gấp đôi khoảng mỗi bốn tháng. Phiên bản mới bổ sung các tác vụ tốn nhiều thời gian hơn và mang tính mở hơn; kết quả cho thấy một số năng lực vẫn đang tăng theo hàm mũ, nhưng các tác vụ đòi hỏi khả năng phán đoán lại tụt hậu rõ rệt. Ví dụ, khi yêu cầu mô hình thiết kế các bài đánh giá AI mới cho METR, không có phương án nào được nhân viên METR coi là hữu ích; trong các tác vụ chấm điểm lập luận triết học, mô hình cũng kém hơn con người. Sayash Kapoor từ Đại học California Berkeley cho rằng việc đánh giá cần sáng tạo hơn, và lần mở rộng này là một thay đổi tích cực.

Tại sao quan trọng Đường cong này thường được dùng để dự báo tiến độ tự động hóa nghiên cứu và phát triển AI; các tác vụ mới cho thấy những tiến bộ trong các tác vụ có thể kiểm chứng không nhất thiết chuyển giao được sang các tác vụ mở.

Độ tin cậy: Khá đáng tin · Nguồn MIT Technology Review · Thời gian sự kiện 11-21 02:15 (giờ Bắc Kinh)

Lý do

  • MIT Technology Review đưa tin về báo cáo mới của METR và phỏng vấn các nhà nghiên cứu bên ngoài
  • Đường cong METR là một trong những dữ liệu được trích dẫn nhiều nhất khi thảo luận về tốc độ tiến bộ của AI

Cách sử dụng

  • Có thể đọc toàn bộ báo cáo trên trang web chính thức của METR

Rủi ro

  • Các tác vụ mới khó chấm điểm; báo cáo của METR cũng ghi rõ rằng nhân viên có ý kiến khác nhau về mức độ liên quan của một số tác vụ với việc tự động hóa nghiên cứu và phát triển AI

Mở

MIT Technology Review

Xem tin AI mới nhất