Независимая оценочная организация Artificial Analysis 10 27 выпустила Индекс интеллекта v5: добавлены закрытое программирование Cognition FrontierCode 2.0 и Terminal-Bench-Science, упрощенная версия HLE-Diamond заменила Humanity's Last Exam, удалены GDPval-AA, SciCode и другие; баллы 60% получены из закрытых тестовых наборов или при нераскрытых ответах, чтобы предотвратить переобучение моделей на открытых задачах. Также представлен Progress Index v1, позволяющий сравнивать возможности моделей в разные периоды времени.
Уверенность: высокая (95) · Время события 2026-10-26
Причины
- Многие пресс-релизы и СМИ ссылаются на этот индекс (например, представленный в этом выпуске Gemini 4 Carbon занял первое место с 59 баллами), после обновления версии рейтинги заметно изменились. При выпуске v5 лидировал Claude Opus 5.5 (max) с 58 баллами, за ним GPT-6 Astra 57 и GPT-6.1 Sol 55, а также Gemini 4 Argon 50.
- Модели с открытыми весами потеряли больше всего баллов: лучшая из них, Kimi K3.1 Pro (веса еще не опубликованы), набрала 46 баллов, что на 12 балла меньше лидера (в v4.3 разрыв составлял всего 3 балл); по данным The Decoder, она опустилась с 4-го на 9-е место; модели с опубликованными весами DeepSeek V4.1 Flash 1017 и GLM-5.3 набрали по 32 балла, что ниже результата Claude Haiku 5.5 в 36 балла.
- Четыре категории имеют равный вес 25%: интеллектуальный труд, программирование, наука и общие задачи. Новая версия сильнее зависит от уровня рассуждений и количества токенов: Claude Opus 5.5 набирает 35 балла на низком уровне и 58 балла на максимальном, при этом стоимость за задачу различается в 10 раза; медианное количество выходных токенов на задачу выросло с 3.5 до 5.9 тысяч.
Использование
- Полный рейтинг и методология доступны на artificialanalysis.ai; новая открытая подвыборка AA-Omniscience-Public-v1.1 размещена на Hugging Face и может использоваться для самостоятельного тестирования ответов на вопросы и уровня галлюцинаций.
- При выборе модели обращайте внимание на указанный уровень рассуждений: разница в баллах для одной и той же модели на разных уровнях может превышать 20 баллов.
Риски
- Недостатком закрытых тестовых наборов является невозможность внешней проверки ошибок в заданиях: в этот раз Artificial Analysis исправила неоднозначные и ошибочные вопросы в AA-Omniscience (как отметил The Decoder).
- Исследователь Nathan Lambert считает, что падение баллов у моделей с открытым исходным кодом связано не только с «натаскиванием на тестах», но и с разницей в инвестициях компаний в среды обучения с подкреплением в различных областях; веса категорий устанавливаются самой Artificial Analysis.