원제: No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark
분석 기관 SemiAnalysis가 11월 2일에 GDPx 벤치마크를 발표했습니다. 이 벤치마크는 칩 설계, 생물학, 퀀트 트레이딩, 사이버 보안, 법률 등 11개 분야를 아우르는 206개의 과제로 구성되어 있으며, 에이전트가 모의 업무 환경에서 전문 소프트웨어를 조작하도록 합니다. 단일 과제당 최대 소요 시간은 8시간입니다. The Decoder에 따르면, Claude Opus 5.5가 12%으로 1위를 차지했으며, Gemini 4 Carbon 10.9%(과제당 비용은 약 1/3 수준), GPT-6 Astra 9.6%가 그 뒤를 이었습니다. 보안 필터의 영향을 받는 사이버 보안, 생물학, 정렬(alignment) 세 분야를 제외하면 GPT-6 Astra가 11.8%으로 역전했습니다. 비판자들은 대부분의 문제가 비공개이며, 하위 분야에는 보통 약 10개의 문제만 존재하고, 각 모델이 자체 에이전트 소프트웨어 내에서 실행되어 결과가 크게 변동된다고 지적했습니다.
왜 중요한가 에이전트를 전문 소프트웨어에 투입해 장시간 작업을 수행하게 하면 점수가 일반적인 벤치마크보다 훨씬 낮게 나옵니다. 하지만 문제가 비공개이고 각 기업이 자체 도구를 사용하므로 비교 가능성에 대한 논란이 있습니다.
신뢰도: 높음 · 출처: SemiAnalysis 등 2개 기관(공식 포함) · 이벤트 발생 시간: 11-02 08:00(베이징 시간)
근거
- SemiAnalysis가 벤치마크와 방법론을 발표했으며, The Decoder가 이를 보도하고 비판적 의견을 종합했습니다.
활용
- 순위표는 gdpx.semianalysis.com에서 확인 가능합니다.
리스크
- 과제의 대부분이 비공개이며, 일부 분야는 언어 모델이 채점 기준에 따라 점수를 매기므로 외부에서 검증하기 어렵습니다.