独立系評価機関 Artificial Analysis は 10 月 27 日にインテリジェンス指数 v5 を発表しました。Cognition の非公開プログラミング評価 FrontierCode 2.0 と Terminal-Bench-Science を追加し、Humanity's Last Exam を簡略版の HLE-Diamond に置き換え、GDPval-AA や SciCode などを削除しました。60% のスコアは非公開テストセットまたは非公開の解答から算出されており、モデルが公開問題に対して過剰に最適化されるのを防ぐ目的があります。同時に、モデル能力を時代を超えて比較できる Progress Index v1 も発表されました。
信頼度：高（95） · イベント日時 2026-10-26
理由
- 多くのプレスリリースやメディアがこの指数を引用しています（今号で最初に紹介した Gemini 4 Carbon は 59 点で首位を獲得）。バージョン変更後、ランキングが大きく変動しました。v5 発表時、Claude Opus 5.5（max）は 58 点で首位を走り、GPT-6 Astra は 57 点、GPT-6.1 Sol は 55 点、Gemini 4 Argon は 50 点でした。
- オープンウェイトモデルのスコア低下が最も顕著です。最高位の Kimi K3.1 Pro（重みは未公開）は 46 点で、首位より 12 点低く（v4.3 では差は 3 点のみ）、The Decoder によれば第 4 位から第 9 位へ転落しました。重みが公開されている DeepSeek V4.1 Flash 1017 と GLM-5.3 はいずれも 32 点で、Claude Haiku 5.5 の 36 点を下回っています。
- 4つの分野（知識ワーク、プログラミング、科学、汎用）がそれぞれ 25% を占めています。新バージョンは推論レベルとトークン数の影響をより強く受けます。Claude Opus 5.5 は低レベルで 35 点、最高レベルで 58 点となり、タスクあたりのコストは 10 倍異なります。タスクあたりの出力トークン数の中央値は 3.5 万から 5.9 万へ増加しました。
使い方
- 完全なランキングと方法論は artificialanalysis.ai にあります。新しい AA-Omniscience-Public-v1.1 公開サブセットは Hugging Face に公開されており、知識質問応答とハルシネーション率の自己テストに使用できます。
- モデル選択時には、報告されている推論レベルに注意してください。同一モデルでもレベルによってスコア差が 20 点以上開くことがあります。
リスク
- 非公開テストセットの欠点は、外部から問題の誤りを検証できないことです。Artificial Analysis は今回、AA-Omniscience 内の曖昧な問題や誤った問題を修正しました（The Decoder が指摘）。
- 研究者の Nathan Lambert は、オープンソースモデルのスコア低下は単なる「問題対策」だけでなく、各社が多領域の強化学習環境に投資する程度の差にも関連していると考えています。分野の重み付けは Artificial Analysis が独自に決定しています。