独立评测机构 Artificial Analysis 10 月 27 日发布智能指数 v5:新增 Cognition 的私有编程评测 FrontierCode 2.0 和 Terminal-Bench-Science,用精简版 HLE-Diamond 取代 Humanity's Last Exam,去掉 GDPval-AA、SciCode 等;60% 的分数来自私有测试集或不公开答案,用来防止模型针对公开题刷分。同时推出可以跨年代比较模型能力的 Progress Index v1。
置信度:高(95) · 事件时间 2026-10-26
理由
- 很多发布稿和媒体会引用这个指数(本期首推的 Gemini 4 Carbon 就以 59 分登顶),换版后排名明显变动。v5 发布时 Claude Opus 5.5(max)58 分领先,GPT-6 Astra 57、GPT-6.1 Sol 55,Gemini 4 Argon 50。
- 开放权重模型掉得最多:最高的 Kimi K3.1 Pro(权重尚未发布)46 分,比第一名低 12 分(v4.3 时只差 3 分),The Decoder 称它从第 4 名跌到第 9 名;已发布权重的 DeepSeek V4.1 Flash 1017 和 GLM-5.3 都是 32 分,低于 Claude Haiku 5.5 的 36 分。
- 四个板块各占 25%:知识工作、编程、科学、通用。新版更吃推理档位和 token:Claude Opus 5.5 低档 35 分、最高档 58 分,每任务成本差 10 倍;每任务输出 token 的中位数从 3.5 万升到 5.9 万。
用法
- 完整榜单和方法论在 artificialanalysis.ai;新的 AA-Omniscience-Public-v1.1 公开子集已上 Hugging Face,可用来自测知识问答和幻觉率。
- 选模型时注意它报的是哪个推理档位,同一模型不同档位分差可以超过 20 分。
风险
- 私有测试集的缺点是外界无法检查题目错误:Artificial Analysis 这次就修订了 AA-Omniscience 里有歧义和出错的题(The Decoder 指出)。
- 研究者 Nathan Lambert 认为开源模型掉分不只是“刷题”,也和各家在多领域强化学习环境上的投入差距有关;板块权重是 Artificial Analysis 自定的。