Tựa đề gốc: Giới thiệu bộ tiêu chuẩn đánh giá Multimodal Knowledge Agent
Google DeepMind và Artificial Analysis ra mắt bộ tiêu chuẩn đánh giá MKA (Multimodal Knowledge Agent), với các câu hỏi do chuyên gia từ 10 ngành và 83 nghề nghiệp biên soạn, bao gồm tổng cộng 200 nhiệm vụ. Mỗi nhiệm vụ tương ứng với một dự án đa bước mà các chuyên gia cần nhiều giờ để hoàn thành, kèm theo một bộ tệp đầu vào đa phương thức và các tiêu chí chấm điểm do chuyên gia viết (độ chính xác về mặt thực tế chiếm 75%, thiết kế trực quan chiếm 25%). Tất cả các mô hình đều chạy trong cùng một khung tác nhân mã nguồn mở Stirrup, được chấm điểm bởi một bộ chấm điểm tự động xây dựng từ các mô hình không phải của Google; Google cho biết tỷ lệ nhất quán với điểm số của chuyên gia là 96%. Bộ dữ liệu đánh giá chính thức được Artificial Analysis lưu trữ riêng tư, ngoài ra 10 nhiệm vụ mẫu được công khai trên Hugging Face; Google cho biết Gemini 4 Carbon xếp thứ hai về chất lượng trong số các mô hình được kiểm tra.
Tại sao quan trọng Hầu hết các bộ tiêu chuẩn đánh giá công việc tri thức chỉ có thể thực hiện bằng văn bản, trong khi MKA yêu cầu hiểu bố cục và hình ảnh; bộ dữ liệu đánh giá chính thức không được công khai để ngăn chặn việc rò rỉ vào dữ liệu huấn luyện.
Độ tin cậy: Cao · Nguồn Blog Google (bao gồm nguồn chính thức) · Thời gian sự kiện 11-11 (giờ Bắc Kinh)
Lý do
- Được công bố trên blog chính thức của Google, nêu rõ cấu trúc nhiệm vụ, phương pháp chấm điểm và cách thức lưu trữ dữ liệu
Cách sử dụng
- Xem bảng xếp hạng hoặc gửi mô hình trên trang web của Artificial Analysis; các nhiệm vụ mẫu công khai có sẵn trên Hugging Face
Rủi ro
- Bộ tiêu chuẩn đánh giá do Google tham gia thiết kế và được sử dụng khi ra mắt để trình bày kết quả của Gemini 4 Carbon; kết quả của các mô hình khác cần được bên thứ ba xác minh lại