Tiêu đề gốc: Gemini 4 Carbon giành vương miện MathArena nhưng chi phí gấp 15 lần GPT-6.1 Sol
Bảng điểm chuẩn toán học MathArena bổ sung kết quả của Gemini 4 Carbon và Claude Fable 5.2: Gemini 4 Carbon (high) của Google xếp thứ nhất, Claude Fable 5.2 (max) xếp thứ hai, đẩy GPT-6.1 Sol (max) khỏi vị trí dẫn đầu. Theo The Decoder, với các thiết lập suy luận khi kiểm tra, chi phí của Carbon và Fable 5.2 lần lượt gấp khoảng 15 và 40 lần so với GPT-6.1 Sol; lỗi phổ biến nhất của Carbon là hết thời gian, gần như không bao giờ từ bỏ nhiệm vụ, có một lần tập lệnh được khởi chạy đã chạy hơn 11 giờ mà không kiểm tra tiến độ.
Tại sao quan trọng Lần đầu tiên sau một thời gian dài, một mô hình của OpenAI không dẫn đầu bảng xếp hạng toán học này; nhưng vị trí dẫn đầu đạt được nhờ tăng chi phí suy luận, nên cần tính toán chi phí trước khi sử dụng thực tế.
Độ tin cậy: Cao · Nguồn từ MathArena và 2 nguồn khác (bao gồm nguồn chính thức) · Thời gian sự kiện 11-15 00:48 (giờ Bắc Kinh)
Lý do
- Bảng xếp hạng trên trang web chính thức của MathArena đã được cập nhật, The Decoder đưa tin so sánh chi phí
Cách sử dụng
- Xem điểm số theo từng câu hỏi của các mô hình trên matharena.ai
Rủi ro
- Hệ số chi phí phụ thuộc vào mức cấu hình suy luận được chọn khi kiểm tra
- Theo báo cáo, các mô hình toán học mạnh hơn của OpenAI chưa được công bố và không có trên bảng xếp hạng