Titre original : Introducing the Multimodal Knowledge Agent benchmark
DeepMind de Google et Artificial Analysis lancent le benchmark MKA (Multimodal Knowledge Agent). Les questions sont rédigées par des experts issus de 10 secteurs et de 83 professions, pour un total de 200 tâches. Chaque tâche correspond à un projet multi-étapes nécessitant plusieurs heures de travail pour un professionnel, accompagnée d'un ensemble de fichiers d'entrée multimodaux et de critères d'évaluation rédigés par des experts (l'exactitude factuelle représentant 75% et le design visuel 25%). Tous les modèles fonctionnent dans le même framework d'agent open source, Stirrup, et sont notés par un évaluateur automatique construit sur des modèles non-Google. Google affirme un taux de concordance de 96% avec les évaluations des experts. L'ensemble de test officiel est conservé de manière privée par Artificial Analysis, tandis que 10 tâches d'exemple sont publiées sur Hugging Face. Google déclare que Gemini 4 Carbon se classe deuxième en qualité parmi les modèles testés.
Pourquoi c'est important La plupart des benchmarks de travail intellectuel peuvent être réalisés uniquement avec du texte, mais MKA exige la compréhension de la mise en page et des images. L'ensemble de test officiel n'est pas public afin d'éviter toute contamination par les données d'entraînement.
Fiabilité : Haute fiabilité · Source Blog Google (incluant officiel) · Date de l'événement 11-11 (heure de Pékin)
Raison
- Publication sur le blog officiel de Google, précisant la composition des tâches, la méthode d'évaluation et les modalités de conservation des données.
Utilisation
- Consultez le classement ou soumettez un modèle sur le site web d'Artificial Analysis ; des tâches d'exemple publiques sont disponibles sur Hugging Face.
Risque
- Le benchmark a été conçu avec la participation de Google et est utilisé lors de sa publication pour mettre en avant les performances de son propre modèle Gemini 4 Carbon. Les résultats des autres modèles nécessitent une vérification par des tiers.