Gemini 4 Carbon が MathArena 数学ランキングで首位に

MathArena 数学ベンチマークに Gemini 4 Carbon と Claude Fable 5.2 の成績が新たに追加されました。Google の Gemini 4 Carbon(high)が1位、Claude Fable 5.2(max)が2位となり、GPT-6.1 Sol(max)を首位から押し下げました。The Decoder によると、テスト時の推論設定において、Carbon と Fable 5.2 のコストはそれぞれ GPT-6.1 Sol の約 15 倍と 40 倍でした。Carbon の最も一般的な失敗はタイムアウトであり、タスクをほぼ放棄することはありません。ある時には、起動したスクリプトが 11 時間以上実行されても進捗が確認されませんでした。

原題:Gemini 4 Carbon が MathArena の王座を獲得するが、GPT-6.1 Sol より 15 倍のコストがかかる

MathArena 数学ベンチマークに Gemini 4 Carbon と Claude Fable 5.2 の成績が新たに追加されました。Google の Gemini 4 Carbon(high)が1位、Claude Fable 5.2(max)が2位となり、GPT-6.1 Sol(max)を首位から押し下げました。The Decoder によると、テスト時の推論設定において、Carbon と Fable 5.2 のコストはそれぞれ GPT-6.1 Sol の約 15 倍と 40 倍でした。Carbon の最も一般的な失敗はタイムアウトであり、タスクをほぼ放棄することはありません。ある時には、起動したスクリプトが 11 時間以上実行されても進捗が確認されませんでした。

なぜ重要か 長い間初めて、この数学ランキングで OpenAI のモデルが首位を走っていません。しかし、そのリードはより多くの推論コストと引き換えに得られたものであり、実際の使用にはまずコストを計算する必要があります。

信頼性:高信頼 · 出典 MathArena など 2 社(公式含む) · イベント日時 11-15 00:48(北京時間)

理由

  • MathArena 公式サイトのランキングが更新され、The Decoder がコスト比較を報道

使い方

  • matharena.ai で各モデルの課題別成績を確認

リスク

  • コストの倍率はテスト時に選択した推論レベルに依存します
  • 報道によると、OpenAI のより強力な数学モデルは未公開であり、ランキングに含まれていません

開く · MathArena

The Decoder

最新の AI ニュースを見る