原題:BAAI/AREX-2
北京智源人工知能研究院(BAAI)の270億パラメータの長距離エージェントモデルで、ベースモデルはQwen3.8-27B(密接型、マルチモーダル)、コンテキスト長は262,144トークンです。テスト時には複数回にわたって解決策を改善します。提案、測定、反省、修正を行い、スコア、ログ、エラー、実行時間を確認して次の改善点を決定します。学習データには、結果を直接検証できる機械学習エンジニアリングやアルゴリズムプログラミングなどのタスクに加え、既存のAREXディープリサーチデータが含まれています。公式によれば、この自己改善能力はディープリサーチにも転移しており、追加の検索軌跡は使用されていません。公式成績:Frontier-CS エージェント部門 70.7、MLE-Lite メダル獲得率 81.8、BrowseComp 84.0、GAIA 92.2、DeepSearchQA 93.8、HLE テキストサブセット 52.6。
なぜ重要か 追加のテストラウンドをより良い解決策に変換し、プログラミングや機械学習エンジニアリングで習得した能力をディープリサーチへ転移できる
上昇スコア 50 · いいね 205 · ダウンロード数 2918
理由
- 複数回の試行錯誤が必要なタスク向け:機械学習エンジニアリング、アルゴリズムコンテストプログラミング、ツール付きディープリサーチ
- 公式の表では、40B以下のオープンモデルの中でBrowseComp、GAIA、DeepSearchQAが上位に位置し、MLE-Liteでは表内のクローズドソースモデルを上回っている
- GitHubリポジトリ VectorSpaceLab/AREX-2 で6つの評価部門の実行器とデータセット定義が公開されており、同じ設定で再テストが可能
使い方
- transformers:AutoModelForMultimodalLM.from_pretrained("BAAI/AREX-2", dtype=torch.bfloat16, device_map="auto")、Qwen3.8をサポートする新しいバージョンのtransformersが必要
- 再テスト:pip install -e '.[research]' を実行した後、python3 evaluate.py BrowseComp --n 10 でモデルエンドポイントと評価モデルエンドポイントを指定して実行
リスク
- モデルカードにはtransformersの会話例のみが記載されており、完全な複数回改善プロセスやディープリサーチフローを実行するには、ツールと実行環境を自分で構築する必要がある
- 成績は公式論文とモデルカードに基づくものであり、一部の比較モデルのスコアはそれぞれの報告書から引用されている。HLEの列には、全データセットとテキストサブセットの両方が混在している
- 本項目は実行されていないため、効果はモデルカードを基準とする