AREX-2: 장거리 에이전트 모델로, 여러 라운드에 걸쳐 반성하며 솔루션을 개선합니다.

베이징 인공지능 연구원(BAAI)의 270억 파라미터 장거리 에이전트 모델로, 기반 모델은 Qwen3.8-27B(밀형, 멀티모달)이며 컨텍스트 길이는 262,144 토큰입니다. 테스트 시 여러 라운드에 걸쳐 하나의 솔루션을 개선합니다: 제안, 측정, 반성, 수정 단계를 거치며 점수, 로그, 오류 메시지 및 소요 시간을 읽어 다음 단계에서 무엇을 수정할지 결정합니다. 학습 데이터는 결과를 직접 검증할 수 있는 머신러닝 엔지니어링 및 알고리즘 프로그래밍 작업과 기존 AREX 심층 연구 데이터를 포함합니다. 공식적으로 이러한 자기 개선 능력이 추가적인 검색 궤적 없이도 심층 연구로 전이된다고 밝혔습니다. 공식 성적: Frontier-CS 에이전트 트랙 70.7, MLE-Lite 메달 획득률 81.8, BrowseComp 84.0, GAIA 92.2, DeepSearchQA 93.8, HLE 텍스트 하위 집합 52.6.

원제: BAAI/AREX-2

베이징 인공지능 연구원(BAAI)의 270억 파라미터 장거리 에이전트 모델로, 기반 모델은 Qwen3.8-27B(밀형, 멀티모달)이며 컨텍스트 길이는 262,144 토큰입니다. 테스트 시 여러 라운드에 걸쳐 하나의 솔루션을 개선합니다: 제안, 측정, 반성, 수정 단계를 거치며 점수, 로그, 오류 메시지 및 소요 시간을 읽어 다음 단계에서 무엇을 수정할지 결정합니다. 학습 데이터는 결과를 직접 검증할 수 있는 머신러닝 엔지니어링 및 알고리즘 프로그래밍 작업과 기존 AREX 심층 연구 데이터를 포함합니다. 공식적으로 이러한 자기 개선 능력이 추가적인 검색 궤적 없이도 심층 연구로 전이된다고 밝혔습니다. 공식 성적: Frontier-CS 에이전트 트랙 70.7, MLE-Lite 메달 획득률 81.8, BrowseComp 84.0, GAIA 92.2, DeepSearchQA 93.8, HLE 텍스트 하위 집합 52.6.

중요한 이유 추가 테스트 라운드를 더 나은 솔루션으로 전환하며, 프로그래밍 및 머신러닝 엔지니어링에서 학습된 능력이 심층 연구로 전이됩니다.

상승 점수 50 · 좋아요 205 · 다운로드 수 2918

이유

  • 여러 라운드의 시행착오가 필요한 작업 대상: 머신러닝 엔지니어링, 알고리즘 대회 프로그래밍, 도구를 활용한 심층 연구
  • 공식 표에서 40B 이하의 오픈 모델 중 BrowseComp, GAIA, DeepSearchQA 모두 상위권에 위치하며, MLE-Lite는 표에 있는 폐쇄형 모델보다 높은 점수를 기록했습니다.
  • GitHub 저장소 VectorSpaceLab/AREX-2에서 6개 평가 트랙의 실행기 및 데이터셋 정의를 공개하여 동일한 설정으로 재검증할 수 있습니다.

사용법

  • transformers: AutoModelForMultimodalLM.from_pretrained("BAAI/AREX-2", dtype=torch.bfloat16, device_map="auto")를 사용하며, Qwen3.8을 지원하는 최신 버전의 transformers가 필요합니다.
  • 재검증: pip install -e '.[research]' 설치 후 python3 evaluate.py BrowseComp --n 10 명령으로 모델 엔드포인트 및 평가 모델 엔드포인트를 지정하여 실행합니다.

리스크

  • 모델 카드에는 transformers 대화 예시만 제공되며, 전체적인 다중 라운드 개선 또는 심층 연구 프로세스를 실행하려면 도구 및 실행 환경을 직접 구축해야 합니다.
  • 성적은 공식 논문과 모델 카드에서 가져온 것이며, 일부 비교 모델의 점수는 각자의 보고서를 기반으로 합니다. HLE 열의 경우 전체 집합과 텍스트 하위 집합이 혼재되어 있습니다.
  • 본 항목은 실행되지 않았으므로, 성능은 모델 카드를 기준으로 합니다.

열기

Hugging Face Trending

최신 AI 소식 보기