Gemini 4 Carbon возглавляет рейтинг MathArena по математике

В математический бенчмарк MathArena добавлены результаты Gemini 4 Carbon и Claude Fable 5.2: Google Gemini 4 Carbon (high) занимает первое место, Claude Fable 5.2 (max) — второе, сместив GPT-6.1 Sol (max) с вершины рейтинга. По данным The Decoder, при настройках вывода, использованных во время тестирования, стоимость Carbon и Fable 5.2 составляет примерно 15 и 40 раз больше, чем у GPT-6.1 Sol соответственно; наиболее частой причиной неудач Carbon является превышение тайм-аута, модель почти никогда не отказывается от выполнения задачи: в одном случае запущенный скрипт работал более 11 часов без проверки прогресса.

Оригинал: Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Sol

В математический бенчмарк MathArena добавлены результаты Gemini 4 Carbon и Claude Fable 5.2: Google Gemini 4 Carbon (high) занимает первое место, Claude Fable 5.2 (max) — второе, сместив GPT-6.1 Sol (max) с вершины рейтинга. По данным The Decoder, при настройках вывода, использованных во время тестирования, стоимость Carbon и Fable 5.2 составляет примерно 15 и 40 раз больше, чем у GPT-6.1 Sol соответственно; наиболее частой причиной неудач Carbon является превышение тайм-аута, модель почти никогда не отказывается от выполнения задачи: в одном случае запущенный скрипт работал более 11 часов без проверки прогресса.

Почему это важно Впервые за долгое время лидером этого математического рейтинга стала не модель OpenAI; однако лидерство достигнуто за счет больших вычислительных затрат на вывод, поэтому при реальном использовании необходимо сначала рассчитать стоимость.

Достоверность: высокая · Источники: MathArena и еще 2 (включая официальные) · Время события: 11-15 00:48 (пекинское время)

Обоснование

  • Рейтинг на официальном сайте MathArena обновлен, The Decoder сообщает о сравнении стоимости

Использование

  • Просмотр результатов моделей по отдельным задачам на matharena.ai

Риски

  • Кратность стоимости зависит от выбранного уровня вывода при тестировании
  • По сообщениям, более мощная математическая модель OpenAI еще не опубликована и отсутствует в рейтинге

Открыть · MathArena

The Decoder

Открыть последние новости ИИ