Google совместно с Artificial Analysis представила агентский бенчмарк MKA

Google DeepMind и Artificial Analysis представили бенчмарк MKA (Multimodal Knowledge Agent). Задания разработаны экспертами из 10 отраслей и 83 профессий; всего в наборе 200 задач. Каждая задача представляет собой многоэтапный проект, на выполнение которого у профессионала уходят часы, и сопровождается набором мультимодальных входных файлов и критериями оценки, написанными экспертами (фактическая точность составляет 75%, визуальный дизайн — 25%). Все модели работают в одном и том же фреймворке для агентов с открытым исходным кодом Stirrup и оцениваются автоматическим оценщиком, построенным на не-гугловских моделях; по заявлению Google, согласованность с оценками экспертов составляет 96%. Официальный набор данных для оценки хранится в закрытом доступе у Artificial Analysis, а на Hugging Face опубликовано 10 примеров задач; по заявлению Google, Gemini 4 Carbon заняла второе место по качеству среди протестированных моделей.

Оригинал: Introducing the Multimodal Knowledge Agent benchmark

Google DeepMind и Artificial Analysis представили бенчмарк MKA (Multimodal Knowledge Agent). Задания разработаны экспертами из 10 отраслей и 83 профессий; всего в наборе 200 задач. Каждая задача представляет собой многоэтапный проект, на выполнение которого у профессионала уходят часы, и сопровождается набором мультимодальных входных файлов и критериями оценки, написанными экспертами (фактическая точность составляет 75%, визуальный дизайн — 25%). Все модели работают в одном и том же фреймворке для агентов с открытым исходным кодом Stirrup и оцениваются автоматическим оценщиком, построенным на не-гугловских моделях; по заявлению Google, согласованность с оценками экспертов составляет 96%. Официальный набор данных для оценки хранится в закрытом доступе у Artificial Analysis, а на Hugging Face опубликовано 10 примеров задач; по заявлению Google, Gemini 4 Carbon заняла второе место по качеству среди протестированных моделей.

Почему это важно Большинство бенчмарков для интеллектуальной работы можно выполнить, опираясь только на текст, тогда как MKA требует понимания верстки и изображений. Официальный набор данных для оценки не публикуется, чтобы предотвратить его попадание в обучающие данные.

Достоверность: Высокая · Источник: блог Google (включая официальные данные) · Время события: 11-11 (пекинское время)

Обоснование

  • Опубликован в официальном блоге Google, где подробно описаны состав задач, методика оценки и способы хранения данных

Использование

  • Просмотр рейтинга или отправка модели на сайте Artificial Analysis; на Hugging Face доступны публичные примеры задач

Риски

  • Бенчмарк разрабатывался при участии Google и использовался при запуске для демонстрации результатов собственной модели Gemini 4 Carbon; результаты других моделей требуют независимой проверки третьими сторонами

Открыть

Gemini 博客

Открыть последние новости ИИ