듀크 대학교, 바이트댄스, 메릴랜드 대학교 및 버팔로 대학교의 에이전트 기반 모델은 학습이 단 3단계로 구성됩니다. 두 단계의 경량 SFT와 강화 학습을 수행하며, 별도의 중간 단계 학습, DPO 또는 온라인 증류는 하지 않습니다. 첫 번째 SFT 단계에서는 도구에 의존하지 않는 추론 능력을 훈련합니다: 합성 난제를 생성한 후, 기본 모델이 이미 해결한 문제에 대해 조합, 파라미터화, 값 범위 변경, 경우의 수 분할 등을 통해 난이도를 높이고, 각 변형마다 정답을 검증합니다. 두 번째 단계에서는 NASA 외계 행성 데이터베이스, OurAirports, OpenAlex, UniProt, Ensembl 등 공개 데이터베이스를 활용하여 프로그램이 먼저 레코드를 필터링하고 유일한 정답을 계산한 뒤, 대형 언어 모델이 문제를 생성하도록 합니다. 이때 모델은 검색, 웹 브라우징 및 Python을 통해 증거를 찾아야 합니다. 마지막으로 비동기 GRPO를 사용하여 장거리 도구 상호작용 능력을 강화합니다. 가중치 외에도 데이터 구성, 생성, 필터링, 검증, 프롬프트 및 학습 코드가 모두 공개되었습니다.
좋아요 39 · 코드 스타 수 37
이유
- README에 명시된 논문 결과: Axion 1.0-122B (Qwen3.5-122B-A10B 기반)는 웹사이트 접근이 제한된 전체 HLE에서 59.0, FrontierScience Olympiad에서 87.0, FrontierScience Research에서 66.7의 성능을 기록했습니다. Axion 1.0-35B (Qwen3.6-35B-A3B 기반, 활성 파라미터 3B)는 SEAL-0에서 62.2의 성능을 기록했습니다. 저자들은 일부 에이전트 벤치마크에서 주요 상용 모델과 동등한 성능을 보였다고 주장합니다.
- 학습 비용이 저렴함: README에 따르면 첫 번째 SFT 단계에는 10,819개의 궤적, 두 번째 단계에는 7,544개(약 312M 토큰)의 데이터가 사용되었습니다. 두 단계의 SFT는 32개의 GPU에서 35B 모델 기준 총 약 90 GPU 시간, 122B 모델 기준 약 240 GPU 시간이 소요됩니다.
- 재현 가능함: 학습 데이터는 Hugging Face의 Axion1-0/axion-training-data에 있으며, 코드는 Apache-2.0 라이선스입니다 (SFT에는 Swift + Megatron-FSDP, RL에는 verl 사용). Hugging Face의 Axion1-0/Axion-1.0-35B는 레시피를 재현한 체크포인트로 Apache-2.0 라이선스를 따릅니다. 모델 카드에 따르면 재현 버전은 HLE에서 52.8, SEAL-0에서 60.4의 성능을 기록하여 논문 버전과 유사합니다. Hugging Face에서의 당일 좋아요 수는 39, 코드 스타 수는 37입니다 (이는 단지 관심도를 나타냅니다).
사용법
- 재현 버전 배포 (모델 카드 예시에서는 8개의 GPU를 사용하며, VRAM에 따라 조정 가능):
vllm serve Axion1-0/Axion-1.0-35B --served-model-name axion-35b --tensor-parallel-size 8 --dtype bfloat16 --max-model-len 131072 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3\_coder명령어를 실행한 후 OpenAI 호환 API를 호출합니다. - 데이터 생성 / 평가:
git clone https://github.com/bytedance/axion1\_0.git，另建을 수행하고 Python 3.11+ 환경에서python -m pip install -e ".\[data,evaluation\]"를 설치합니다. axion/datagen/stage1, stage2의 README에 따라 두 단계의 데이터를 생성합니다. axion/evaluation은 FrontierScience, HiPhO, HLE-130, SEAL-0의 데이터 준비 및 채점을 담당합니다. - 학습: axion/training/README.md를 참고하여 두 단계의 SFT와 비동기 GRPO를 수행하며, 학습된 체크포인트는 먼저 Hugging Face 형식으로 내보낸 후 vLLM을 사용하여 서비스를 시작해야 합니다.
리스크
- README에서는 35B 체크포인트를 커뮤니티 재현 버전으로 명시하고 있으며 공식 Axion 체크포인트가 아닙니다. 논문에서 언급된 122B 모델과 SFT만 수행한 4B / 9B 변형의 가중치는 공개되지 않았습니다.
- 에이전트 평가를 위해서는 도구 호출을 실행하는 외부 프레임워크를 별도로 설정해야 하며, 저장소의 평가 스크립트는 데이터 준비와 채점만 수행합니다. RL 학습 시 롤아웃, 학습 및 보조 서비스를 서로 다른 GPU 풀로 분리해야 하므로 재현 난이도가 높습니다.
- 비교 표에서 별표(*)가 붙은 기준선 점수는 Axion 팀이 직접 측정한 것이며, 나머지는 공식 보고서에서 가져온 값입니다. 모든 점수는 저자가 보고한 수치입니다.
열기 · 코드 · Hugging Face 논문 페이지