GoogleとArtificial AnalysisがエージェントベンチマークMKAを発表

Google DeepMindとArtificial Analysisは、MKA(Multimodal Knowledge Agent)ベンチマークを発表しました。問題は10業界、83職種の専門家によって作成され、合計200タスクが含まれています。各タスクは、専門家が数時間かけて完了する必要があるマルチステッププロジェクトに対応しており、マルチモーダルな入力ファイルのセットと、専門家によって作成された採点基準(事実の正確性が75%、視覚的デザインが25%を占める)が付随しています。すべてのモデルは、同じオープンソースのエージェントフレームワーク「Stirrup」内で実行され、Google以外のモデルで構築された自動採点器によって採点されます。Googleは、専門家による採点との一致率が96%であると述べています。正式な評価セットはArtificial Analysisが非公開で管理しており、Hugging Faceには10のサンプルタスクが公開されています。Googleは、テストしたモデルの中でGemini 4 Carbonの品質が2位であると述べています。

元記事:Introducing the Multimodal Knowledge Agent benchmark

Google DeepMindとArtificial Analysisは、MKA(Multimodal Knowledge Agent)ベンチマークを発表しました。問題は10業界、83職種の専門家によって作成され、合計200タスクが含まれています。各タスクは、専門家が数時間かけて完了する必要があるマルチステッププロジェクトに対応しており、マルチモーダルな入力ファイルのセットと、専門家によって作成された採点基準(事実の正確性が75%、視覚的デザインが25%を占める)が付随しています。すべてのモデルは、同じオープンソースのエージェントフレームワーク「Stirrup」内で実行され、Google以外のモデルで構築された自動採点器によって採点されます。Googleは、専門家による採点との一致率が96%であると述べています。正式な評価セットはArtificial Analysisが非公開で管理しており、Hugging Faceには10のサンプルタスクが公開されています。Googleは、テストしたモデルの中でGemini 4 Carbonの品質が2位であると述べています。

なぜ重要か 多くの知識ワークベンチマークはテキストのみで対応可能ですが、MKAではレイアウトや画像の理解が求められます。また、訓練データへの混入を防ぐため、正式な評価セットは非公開です。

信頼性:高信頼 · 出典 Googleブログ(公式含む) · イベント日時 11-11(北京時間)

理由

  • Google公式ブログで発表され、タスクの構成、採点方法、データの管理方法が明記されている

使い方

  • Artificial Analysisのウェブサイトでリーダーボードを確認するか、モデルを提出できます。Hugging Faceには公開サンプルタスクがあります

リスク

  • ベンチマークはGoogleが設計に参加しており、発表時には自社製品であるGemini 4 Carbonの成績をアピールするために使用されました。他のモデルの結果については、第三者による検証が必要です

開く

Gemini 博客

最新の AI ニュースを見る