Tựa đề gốc: Không có tác nhân AI nào đạt điểm trên 12 phần trăm trong chuẩn đánh giá công việc thực tế mới của SemiAnalysis
Tổ chức phân tích SemiAnalysis 11 tháng 2 đã công bố chuẩn đánh giá GDPx: 206 nhiệm vụ bao phủ các lĩnh vực như thiết kế chip, sinh học, giao dịch định lượng, an ninh mạng, pháp lý và 11 lĩnh vực khác, cho phép các tác nhân AI vận hành phần mềm chuyên dụng trong môi trường làm việc mô phỏng, với mỗi câu hỏi kéo dài tối đa 8 giờ. Theo The Decoder, Claude Opus 5.5 dẫn đầu với 12%, Gemini 4 Carbon 10.9% (chi phí mỗi câu hỏi chỉ bằng khoảng một phần ba), GPT-6 Astra 9.6%; sau khi loại bỏ ba lĩnh vực bị ảnh hưởng bởi bộ lọc an ninh là an ninh mạng, sinh học và alignment, GPT-6 Astra đã vượt lên dẫn đầu với 11.8%. Các nhà phê bình chỉ ra rằng phần lớn các câu hỏi không được công khai, các lĩnh vực con thường chỉ có khoảng 10 câu hỏi, và mỗi mô hình được chạy trên phần mềm tác nhân riêng của nhà phát triển, dẫn đến kết quả biến động lớn.
Tại sao quan trọng Việc đưa các tác nhân AI vào phần mềm chuyên dụng để thực hiện các nhiệm vụ dài hạn cho điểm số thấp hơn nhiều so với các chuẩn đánh giá phổ biến; tuy nhiên, việc các câu hỏi không được công khai và mỗi nhà phát triển sử dụng công cụ riêng của họ làm dấy lên tranh cãi về tính so sánh được.
Độ tin cậy: Cao · Nguồn SemiAnalysis và 2 nguồn khác (bao gồm nguồn chính thức) · Thời gian sự kiện 11-02 08:00 (giờ Bắc Kinh)
Lý do
- SemiAnalysis đã công bố chuẩn đánh giá và mô tả phương pháp, The Decoder đưa tin và tổng hợp các ý kiến phê bình
Cách sử dụng
- Bảng xếp hạng có tại gdpx.semianalysis.com
Rủi ro
- Phần lớn các nhiệm vụ không được công khai, một số lĩnh vực được chấm điểm bởi các mô hình ngôn ngữ dựa trên quy tắc chấm điểm, khiến việc kiểm chứng từ bên ngoài trở nên khó khăn