Оригинальное название: Ни один ИИ-агент не набрал более 12 процентов на новом бенчмарке SemiAnalysis по реальной работе
Аналитическая компания SemiAnalysis 11 2 выпустила бенчмарк GDPx: 206 задач охватывают 11 областей, включая проектирование чипов, биологию, квантовый трейдинг, кибербезопасность и юриспруденцию; агенты работают в смоделированной рабочей среде с профессиональным ПО, на решение одной задачи отводится до 8 часов. По данным The Decoder, Claude Opus 5.5 лидирует с результатом 12%, за ним следуют Gemini 4 Carbon 10.9% (стоимость решения одной задачи примерно в три раза ниже) и GPT-6 Astra 9.6%; если исключить три области, подверженные влиянию фильтров безопасности — кибербезопасность, биологию и выравнивание (alignment), — то GPT-6 Astra выходит на первое место с результатом 11.8%. Критики отмечают, что большинство задач не публикуются, в поддоменах часто содержится всего около 10 задач, а каждая модель работает в собственном агентском ПО, из-за чего результаты сильно варьируются.
Почему это важно Помещение агентов в профессиональное ПО для выполнения длительных задач дает значительно более низкие баллы по сравнению с обычными бенчмарками; однако закрытость задач и использование каждым разработчиком собственных инструментов ставят под сомнение сопоставимость результатов.
Достоверность: Высокая · Источники SemiAnalysis и еще 2 (включая официальные) · Время события: 11-02 08:00 (пекинское время)
Обоснование
- SemiAnalysis опубликовала бенчмарк и описание методологии, The Decoder осветил новость и собрал критические замечания
Использование
- Таблица результатов доступна на gdpx.semianalysis.com
Риски
- Большинство задач не публикуются, в некоторых областях оценку выставляет языковая модель согласно критериям, что затрудняет внешнюю проверку