Tổ chức đánh giá độc lập Artificial Analysis 10 tháng 27 đã công bố Chỉ số Thông minh v5: bổ sung bài đánh giá lập trình riêng tư FrontierCode 2.0 và Terminal-Bench-Science của Cognition, thay thế Humanity's Last Exam bằng phiên bản rút gọn HLE-Diamond, loại bỏ GDPval-AA, SciCode, v.v.; điểm số của 60% đến từ các bộ kiểm tra riêng tư hoặc đáp án không công khai, nhằm ngăn chặn việc các mô hình gian lận điểm bằng cách luyện tập trên các câu hỏi công khai. Đồng thời ra mắt Progress Index v1, cho phép so sánh năng lực mô hình qua các thời kỳ.
Độ tin cậy: Cao (95) · Thời gian sự kiện 2026-10-26
Lý do
- Nhiều thông cáo báo chí và phương tiện truyền thông thường trích dẫn chỉ số này (Gemini 4 Carbon, được ưu tiên giới thiệu trong kỳ này, đã đứng đầu với 59 điểm), thứ hạng thay đổi rõ rệt sau khi cập nhật phiên bản. Khi v5 ra mắt, Claude Opus 5.5 (max) dẫn đầu với 58 điểm, GPT-6 Astra 57, GPT-6.1 Sol 55, Gemini 4 Argon 50.
- Các mô hình có trọng số mở bị giảm điểm nhiều nhất: Kimi K3.1 Pro (trọng số chưa được công bố) đạt điểm cao nhất là 46, thấp hơn vị trí đầu bảng 12 điểm (ở v4.3 chỉ chênh lệch 3 điểm), The Decoder cho biết nó đã rơi từ vị trí thứ 4 xuống thứ 9; DeepSeek V4.1 Flash 1017 và GLM-5.3 (đã công bố trọng số) đều đạt 32 điểm, thấp hơn mức 36 điểm của Claude Haiku 5.5.
- Bốn lĩnh vực chiếm mỗi phần 25%: công việc tri thức, lập trình, khoa học, và chung. Phiên bản mới phụ thuộc nhiều hơn vào mức độ suy luận và token: Claude Opus 5.5 ở mức thấp đạt 35 điểm, ở mức cao nhất đạt 58 điểm, chi phí mỗi tác vụ chênh lệch 10 lần; trung vị số token đầu ra mỗi tác vụ tăng từ 3.5 vạn lên 5.9 vạn.
Cách sử dụng
- Bảng xếp hạng đầy đủ và phương pháp luận có tại artificialanalysis.ai; tập con công khai mới AA-Omniscience-Public-v1.1 đã được đưa lên Hugging Face, có thể dùng để tự kiểm tra khả năng hỏi đáp kiến thức và tỷ lệ ảo giác.
- Khi chọn mô hình, hãy lưu ý mức độ suy luận nào được báo cáo, vì chênh lệch điểm giữa các mức độ khác nhau của cùng một mô hình có thể vượt quá 20 điểm.
Rủi ro
- Nhược điểm của bộ kiểm tra riêng tư là bên ngoài không thể kiểm tra lỗi trong câu hỏi: lần này Artificial Analysis đã sửa đổi các câu hỏi mơ hồ và sai sót trong AA-Omniscience (The Decoder chỉ ra).
- Nhà nghiên cứu Nathan Lambert cho rằng việc các mô hình mã nguồn mở bị giảm điểm không chỉ do "luyện đề", mà còn liên quan đến khoảng cách đầu tư vào môi trường học tăng cường đa lĩnh vực của các nhà phát triển; trọng số của các lĩnh vực do Artificial Analysis tự định nghĩa.