SemiAnalysis 新基准 GDPx:没有智能体超过 12%

分析机构 SemiAnalysis 11 月 2 日发布 GDPx 基准:206 项任务覆盖芯片设计、生物、量化交易、网络安全、法律等 11 个领域,让智能体在模拟工作环境里操作专业软件,单题最长 8 小时。据 The Decoder,Claude Opus 5.5 以 12% 居首,Gemini 4 Carbon 10.9%(每题成本约为其三分之一),GPT-6 Astra 9.6%;去掉网络安全、生物、对齐三个受安全过滤影响的领域后,GPT-6 Astra 以 11.8% 反超。批评者指出大部分题目不公开、子领域常只有约 10 题、各模型在自家智能体软件里运行,结果波动大。

原题:No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark

分析机构 SemiAnalysis 11 月 2 日发布 GDPx 基准:206 项任务覆盖芯片设计、生物、量化交易、网络安全、法律等 11 个领域,让智能体在模拟工作环境里操作专业软件,单题最长 8 小时。据 The Decoder,Claude Opus 5.5 以 12% 居首,Gemini 4 Carbon 10.9%(每题成本约为其三分之一),GPT-6 Astra 9.6%;去掉网络安全、生物、对齐三个受安全过滤影响的领域后,GPT-6 Astra 以 11.8% 反超。批评者指出大部分题目不公开、子领域常只有约 10 题、各模型在自家智能体软件里运行,结果波动大。

为什么重要 把智能体放进专业软件跑长任务,分数远低于常见基准;但题目不公开、各家用自家工具,可比性有争议。

可信度:高可信 · 来源 SemiAnalysis 等 2 家(含官方) · 事件时间 11-02 08:00(北京时间)

理由

  • SemiAnalysis 发布基准和方法说明,The Decoder 报道并汇总了批评意见

用法

  • 榜单见 gdpx.semianalysis.com

风险

  • 任务大多不公开,部分领域由语言模型按评分细则打分,外界难以复核

打开 · SemiAnalysis

The Decoder

浏览最新 AI 动态