Gemini 4 Carbon, MathArena 수학 리더보드 정상 등극

MathArena 수학 벤치마크에 Gemini 4 Carbon 및 Claude Fable 5.2의 성적이 새로 추가되었습니다. Google의 Gemini 4 Carbon(high)이 1위를 차지했으며, Claude Fable 5.2(max)은 2위로 GPT-6.1 Sol(max)을 정상에서 밀어냈습니다. The Decoder에 따르면, 테스트 시 적용된 추론 설정 기준 Carbon과 Fable 5.2의 비용은 각각 GPT-6.1 Sol의 약 15배와 40배였습니다. Carbon의 가장 흔한 실패 원인은 시간 초과였으며, 거의 항상 작업을 포기하지 않았습니다. 한 번에는 실행된 스크립트가 11시간 이상 진행되었음에도 불구하고 진척도를 확인하지 않았습니다.

원제: Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Sol

MathArena 수학 벤치마크에 Gemini 4 Carbon 및 Claude Fable 5.2의 성적이 새로 추가되었습니다. Google의 Gemini 4 Carbon(high)이 1위를 차지했으며, Claude Fable 5.2(max)은 2위로 GPT-6.1 Sol(max)을 정상에서 밀어냈습니다. The Decoder에 따르면, 테스트 시 적용된 추론 설정 기준 Carbon과 Fable 5.2의 비용은 각각 GPT-6.1 Sol의 약 15배와 40배였습니다. Carbon의 가장 흔한 실패 원인은 시간 초과였으며, 거의 항상 작업을 포기하지 않았습니다. 한 번에는 실행된 스크립트가 11시간 이상 진행되었음에도 불구하고 진척도를 확인하지 않았습니다.

왜 중요한가 오랜만에 OpenAI 모델이 아닌 것이 이 수학 리더보드에서 선두를 차지했습니다. 하지만 이러한 우위는 더 많은 추론 비용을 대가로 얻은 것이며, 실제 사용 시에는 먼저 비용을 계산해야 합니다.

신뢰도: 높음 · 출처: MathArena 등 2개 기관(공식 포함) · 사건 발생 시간: 11-15 00:48 (베이징 시간)

근거

  • MathArena 공식 웹사이트 리더보드가 업데이트되었으며, The Decoder가 비용 비교를 보도했습니다.

활용법

  • matharena.ai에서 각 모델의 문제별 성적을 확인하세요.

리스크

  • 비용 배율은 테스트 시 선택한 추론 단계에 따라 달라집니다.
  • 보도에 따르면 OpenAI의 더 강력한 수학 모델은 아직 공개되지 않아 리더보드에 포함되어 있지 않습니다.

열기 · MathArena

The Decoder

최신 AI 소식 보기