Оригинал: BAAI/AREX-2
Долгоживущая агентная модель с 270 млрд параметров от Пекинского института искусственного интеллекта (BAAI), построенная на базе Qwen3.8-27B (плотная, мультимодальная) с контекстным окном в 262,144 токенов. Во время тестирования она многократно улучшает одно решение: предлагает, измеряет, размышляет и модифицирует, анализируя баллы, логи, сообщения об ошибках и время выполнения для определения следующего шага изменений. Обучающие данные включают задачи машинного обучения и алгоритмического программирования с прямой верификацией результатов, а также исходные данные глубокого исследования AREX; официально заявлено, что эта способность к самоусовершенствованию переносится на глубокое исследование без добавления дополнительных траекторий поиска. Официальные результаты: трек агентов Frontier-CS 70.7, процент медалей MLE-Lite 81.8, BrowseComp 84.0, GAIA 92.2, DeepSearchQA 93.8 и текстовое подмножество HLE 52.6.
Почему это важно Превращение дополнительных тестовых раундов в лучшие решения; навыки, полученные при программировании и инженерии машинного обучения, переносятся на глубокое исследование
Рост рейтинга 50 · Лайки 205 · Загрузки 2918
Причины
- Ориентирована на задачи, требующие многократных проб и ошибок: инженерия машинного обучения, соревновательное алгоритмическое программирование, глубокое исследование с использованием инструментов
- В официальной таблице среди открытых моделей размером менее 40B эта модель занимает лидирующие позиции по метрикам BrowseComp, GAIA и DeepSearchQA, а также превосходит закрытые модели в таблице по показателю MLE-Lite
- Репозиторий GitHub VectorSpaceLab/AREX-2 содержит раннеры и определения наборов данных для шести оценочных треков, что позволяет воспроизвести тестирование с теми же настройками
Использование
- transformers: AutoModelForMultimodalLM.from_pretrained("BAAI/AREX-2", dtype=torch.bfloat16, device_map="auto"), требуется новая версия transformers с поддержкой Qwen3.8
- Повторное тестирование: после установки через pip install -e '.[research]' запустите python3 evaluate.py BrowseComp --n 10, указав конечные точки модели и модели-оценщика
Риски
- В карточке модели приведены только примеры диалога для transformers; для выполнения полного цикла многократного улучшения или процесса глубокого исследования необходимо самостоятельно настраивать инструменты и среду выполнения
- Результаты взяты из официальной статьи и карточки модели; баллы некоторых моделей сравнения получены из их собственных отчетов; в столбце HLE представлены как полный набор данных, так и текстовое подмножество
- Данный пункт не был запущен на практике; фактическая эффективность определяется согласно карточке модели