AREX-2: Долгоживущая агентная модель, улучшающая решения через многократное размышление

Долгоживущая агентная модель с 270 млрд параметров от Пекинского института искусственного интеллекта (BAAI), построенная на базе Qwen3.8-27B (плотная, мультимодальная) с контекстным окном в 262,144 токенов. Во время тестирования она многократно улучшает одно решение: предлагает, измеряет, размышляет и модифицирует, анализируя баллы, логи, сообщения об ошибках и время выполнения для определения следующего шага изменений. Обучающие данные включают задачи машинного обучения и алгоритмического программирования с прямой верификацией результатов, а также исходные данные глубокого исследования AREX; официально заявлено, что эта способность к самоусовершенствованию переносится на глубокое исследование без добавления дополнительных траекторий поиска. Официальные результаты: трек агентов Frontier-CS 70.7, процент медалей MLE-Lite 81.8, BrowseComp 84.0, GAIA 92.2, DeepSearchQA 93.8 и текстовое подмножество HLE 52.6.

Оригинал: BAAI/AREX-2

Долгоживущая агентная модель с 270 млрд параметров от Пекинского института искусственного интеллекта (BAAI), построенная на базе Qwen3.8-27B (плотная, мультимодальная) с контекстным окном в 262,144 токенов. Во время тестирования она многократно улучшает одно решение: предлагает, измеряет, размышляет и модифицирует, анализируя баллы, логи, сообщения об ошибках и время выполнения для определения следующего шага изменений. Обучающие данные включают задачи машинного обучения и алгоритмического программирования с прямой верификацией результатов, а также исходные данные глубокого исследования AREX; официально заявлено, что эта способность к самоусовершенствованию переносится на глубокое исследование без добавления дополнительных траекторий поиска. Официальные результаты: трек агентов Frontier-CS 70.7, процент медалей MLE-Lite 81.8, BrowseComp 84.0, GAIA 92.2, DeepSearchQA 93.8 и текстовое подмножество HLE 52.6.

Почему это важно Превращение дополнительных тестовых раундов в лучшие решения; навыки, полученные при программировании и инженерии машинного обучения, переносятся на глубокое исследование

Рост рейтинга 50 · Лайки 205 · Загрузки 2918

Причины

  • Ориентирована на задачи, требующие многократных проб и ошибок: инженерия машинного обучения, соревновательное алгоритмическое программирование, глубокое исследование с использованием инструментов
  • В официальной таблице среди открытых моделей размером менее 40B эта модель занимает лидирующие позиции по метрикам BrowseComp, GAIA и DeepSearchQA, а также превосходит закрытые модели в таблице по показателю MLE-Lite
  • Репозиторий GitHub VectorSpaceLab/AREX-2 содержит раннеры и определения наборов данных для шести оценочных треков, что позволяет воспроизвести тестирование с теми же настройками

Использование

  • transformers: AutoModelForMultimodalLM.from_pretrained("BAAI/AREX-2", dtype=torch.bfloat16, device_map="auto"), требуется новая версия transformers с поддержкой Qwen3.8
  • Повторное тестирование: после установки через pip install -e '.[research]' запустите python3 evaluate.py BrowseComp --n 10, указав конечные точки модели и модели-оценщика

Риски

  • В карточке модели приведены только примеры диалога для transformers; для выполнения полного цикла многократного улучшения или процесса глубокого исследования необходимо самостоятельно настраивать инструменты и среду выполнения
  • Результаты взяты из официальной статьи и карточки модели; баллы некоторых моделей сравнения получены из их собственных отчетов; в столбце HLE представлены как полный набор данных, так и текстовое подмножество
  • Данный пункт не был запущен на практике; фактическая эффективность определяется согласно карточке модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ