Оригинал: Introducing the Multimodal Knowledge Agent benchmark
Google DeepMind и Artificial Analysis представили бенчмарк MKA (Multimodal Knowledge Agent). Задания разработаны экспертами из 10 отраслей и 83 профессий; всего в наборе 200 задач. Каждая задача представляет собой многоэтапный проект, на выполнение которого у профессионала уходят часы, и сопровождается набором мультимодальных входных файлов и критериями оценки, написанными экспертами (фактическая точность составляет 75%, визуальный дизайн — 25%). Все модели работают в одном и том же фреймворке для агентов с открытым исходным кодом Stirrup и оцениваются автоматическим оценщиком, построенным на не-гугловских моделях; по заявлению Google, согласованность с оценками экспертов составляет 96%. Официальный набор данных для оценки хранится в закрытом доступе у Artificial Analysis, а на Hugging Face опубликовано 10 примеров задач; по заявлению Google, Gemini 4 Carbon заняла второе место по качеству среди протестированных моделей.
Почему это важно Большинство бенчмарков для интеллектуальной работы можно выполнить, опираясь только на текст, тогда как MKA требует понимания верстки и изображений. Официальный набор данных для оценки не публикуется, чтобы предотвратить его попадание в обучающие данные.
Достоверность: Высокая · Источник: блог Google (включая официальные данные) · Время события: 11-11 (пекинское время)
Обоснование
- Опубликован в официальном блоге Google, где подробно описаны состав задач, методика оценки и способы хранения данных
Использование
- Просмотр рейтинга или отправка модели на сайте Artificial Analysis; на Hugging Face доступны публичные примеры задач
Риски
- Бенчмарк разрабатывался при участии Google и использовался при запуске для демонстрации результатов собственной модели Gemini 4 Carbon; результаты других моделей требуют независимой проверки третьими сторонами