原題:Gemini 4 Carbon が MathArena の王座を獲得するが、GPT-6.1 Sol より 15 倍のコストがかかる
MathArena 数学ベンチマークに Gemini 4 Carbon と Claude Fable 5.2 の成績が新たに追加されました。Google の Gemini 4 Carbon(high)が1位、Claude Fable 5.2(max)が2位となり、GPT-6.1 Sol(max)を首位から押し下げました。The Decoder によると、テスト時の推論設定において、Carbon と Fable 5.2 のコストはそれぞれ GPT-6.1 Sol の約 15 倍と 40 倍でした。Carbon の最も一般的な失敗はタイムアウトであり、タスクをほぼ放棄することはありません。ある時には、起動したスクリプトが 11 時間以上実行されても進捗が確認されませんでした。
なぜ重要か 長い間初めて、この数学ランキングで OpenAI のモデルが首位を走っていません。しかし、そのリードはより多くの推論コストと引き換えに得られたものであり、実際の使用にはまずコストを計算する必要があります。
信頼性:高信頼 · 出典 MathArena など 2 社(公式含む) · イベント日時 11-15 00:48(北京時間)
理由
- MathArena 公式サイトのランキングが更新され、The Decoder がコスト比較を報道
使い方
- matharena.ai で各モデルの課題別成績を確認
リスク
- コストの倍率はテスト時に選択した推論レベルに依存します
- 報道によると、OpenAI のより強力な数学モデルは未公開であり、ランキングに含まれていません