谷歌联合 Artificial Analysis 推出智能体基准 MKA

谷歌 DeepMind 与 Artificial Analysis 推出 MKA(Multimodal Knowledge Agent)基准,题目由 10 个行业、83 种职业的专家编写,共 200 个任务,每个任务对应专业人士需要数小时完成的多步项目,配一组多模态输入文件和专家写的评分细则(事实准确占 75%、视觉设计占 25%)。所有模型在同一个开源智能体框架 Stirrup 里运行,由非谷歌模型搭建的自动评分器打分,谷歌称与专家评分的一致率为 96%。正式评测集由 Artificial Analysis 私有保管,另在 Hugging Face 公开 10 个示例任务;谷歌称 Gemini 4 Carbon 在其测试的模型中质量排第二。

原题:Introducing the Multimodal Knowledge Agent benchmark

谷歌 DeepMind 与 Artificial Analysis 推出 MKA(Multimodal Knowledge Agent)基准,题目由 10 个行业、83 种职业的专家编写,共 200 个任务,每个任务对应专业人士需要数小时完成的多步项目,配一组多模态输入文件和专家写的评分细则(事实准确占 75%、视觉设计占 25%)。所有模型在同一个开源智能体框架 Stirrup 里运行,由非谷歌模型搭建的自动评分器打分,谷歌称与专家评分的一致率为 96%。正式评测集由 Artificial Analysis 私有保管,另在 Hugging Face 公开 10 个示例任务;谷歌称 Gemini 4 Carbon 在其测试的模型中质量排第二。

为什么重要 多数知识工作基准只用文字就能做,MKA 要求看懂版式和图像,正式评测集不公开以防混进训练数据。

可信度:高可信 · 来源 Google 博客(含官方) · 事件时间 11-11(北京时间)

理由

  • 谷歌官方博客发布,写明了任务构成、评分方式和数据保管办法

用法

  • 在 Artificial Analysis 网站查看榜单或提交模型;Hugging Face 上有公开示例任务

风险

  • 基准由谷歌参与设计,发布时用来展示自家 Gemini 4 Carbon 的成绩,其他模型的结果需看第三方复核

打开

Gemini 博客

浏览最新 AI 动态