原題：SemiAnalysis の新しい実務ワークベンチマークで、AI エージェントのスコアは 12 パーセントを超えられない
分析機関 SemiAnalysis は 11 月 2 日に GDPx ベンチマークを発表した。206 件のタスクがチップ設計、生物学、クオンツ取引、サイバーセキュリティ、法務など 11 分野を網羅し、エージェントに模擬環境で専門ソフトウェアを操作させる。1問あたりの最大所要時間は 8 時間。The Decoder によると、Claude Opus 5.5 が 12% で首位に立ち、Gemini 4 Carbon 10.9%（1問あたりのコストは約3分の1）、GPT-6 Astra 9.6% が続く。サイバーセキュリティ、生物学、アライメントの3分野（セキュリティフィルタの影響を受ける）を除くと、GPT-6 Astra が 11.8% で逆転する。批判者は、問題の大半が非公開であること、サブ分野では約 10 問しかないことが多いこと、各モデルが自社エージェントソフトウェア上で動作するため結果のばらつきが大きいことを指摘している。
なぜ重要か エージェントを専門ソフトウェアで長時間タスクを実行させると、一般的なベンチマークよりスコアが大幅に低くなる。しかし、問題が非公開であり、各社が自社のツールを使用しているため、比較可能性には議論がある。
信頼性：高信頼 · 出典 SemiAnalysis など 2 社（公式含む） · イベント日時 11-02 08:00（北京時間）
理由
- SemiAnalysis がベンチマークと方法論を公開し、The Decoder が批判意見を報道・集約した
利用方法
- リーダーボードは gdpx.semianalysis.com で確認できる
リスク
- タスクの大半が非公開であり、一部の分野では言語モデルが採点基準に基づいて評価するため、外部からの検証が難しい