구글, Artificial Analysis와 함께 에이전트 벤치마크 MKA 출시

구글 DeepMind와 Artificial Analysis가 MKA(Multimodal Knowledge Agent) 벤치마크를 출시했습니다. 문제는 10개 산업, 83개 직종의 전문가가 작성했으며, 총 200개의 작업으로 구성됩니다. 각 작업은 전문가가 수 시간 동안 수행해야 하는 다단계 프로젝트에 해당하며, 일련의 멀티모달 입력 파일과 전문가가 작성한 채점 기준(사실 정확도 75%, 시각 디자인 25%)이 포함됩니다. 모든 모델은 동일한 오픈소스 에이전트 프레임워크인 Stirrup 내에서 실행되며, 구글 모델이 아닌 모델로 구축된 자동 채점기가 점수를 매깁니다. 구글은 전문가 채점과의 일치율이 96%라고 밝혔습니다. 공식 평가셋은 Artificial Analysis가 비공개로 보관하며, Hugging Face에는 10개의 예제 작업이 공개되어 있습니다. 구글은 테스트한 모델 중 Gemini 4 Carbon의 품질이 2위라고 주장했습니다.

원제: Multimodal Knowledge Agent 벤치마크 소개

구글 DeepMind와 Artificial Analysis가 MKA(Multimodal Knowledge Agent) 벤치마크를 출시했습니다. 문제는 10개 산업, 83개 직종의 전문가가 작성했으며, 총 200개의 작업으로 구성됩니다. 각 작업은 전문가가 수 시간 동안 수행해야 하는 다단계 프로젝트에 해당하며, 일련의 멀티모달 입력 파일과 전문가가 작성한 채점 기준(사실 정확도 75%, 시각 디자인 25%)이 포함됩니다. 모든 모델은 동일한 오픈소스 에이전트 프레임워크인 Stirrup 내에서 실행되며, 구글 모델이 아닌 모델로 구축된 자동 채점기가 점수를 매깁니다. 구글은 전문가 채점과의 일치율이 96%라고 밝혔습니다. 공식 평가셋은 Artificial Analysis가 비공개로 보관하며, Hugging Face에는 10개의 예제 작업이 공개되어 있습니다. 구글은 테스트한 모델 중 Gemini 4 Carbon의 품질이 2위라고 주장했습니다.

왜 중요한가 대부분의 지식 작업 벤치마크는 텍스트만으로 수행할 수 있지만, MKA는 레이아웃과 이미지를 이해해야 합니다. 공식 평가셋은 학습 데이터에 포함되는 것을 방지하기 위해 비공개로 유지됩니다.

신뢰도: 높은 신뢰도 · 출처 Google 블로그(공식 포함) · 이벤트 시간 11-11(베이징 시간)

이유

  • 구글 공식 블로그에 게시되었으며, 작업 구성, 채점 방식 및 데이터 보관 방법이 명시되어 있습니다.

사용법

  • Artificial Analysis 웹사이트에서 리더보드를 확인하거나 모델을 제출하세요. Hugging Face에는 공개 예제 작업이 있습니다.

리스크

  • 벤치마크는 구글이 설계에 참여했으며, 출시 당시 자사 Gemini 4 Carbon의 성과를 보여주기 위해 사용되었습니다. 다른 모델의 결과는 제3자의 재검증을 확인해야 합니다.

열기

Gemini 博客

최신 AI 소식 보기