원제: Axion1-0/Axion-1.0-35B
Axion 1.0은 듀크 대학교, 바이트댄스 등 팀이 제안한 오픈소스 에이전트 기반 모델 레시피입니다. 먼저 어려운 과학 문제에서 SFT(추론 학습)를 수행하고, 그 다음 자료 검색 및 도구 사용이 필요한 검증 가능한 작업에서 SFT(조사 학습)를 수행하며, 마지막으로 에이전트 궤적에 대해 강화 학습을 적용합니다. SFT 데이터는 약 1.8만 개입니다. 이 저장소는 해당 레시피로 훈련된 35B 재현 체크포인트이며(총 파라미터 약 350억 개, 활성 파라미터 약 30억 개, 기반 모델은 Qwen3.6-35B-A3B), 저자는 HLE에서 52.8, SEAL-0에서 60.4, FrontierScience 올림피아드 문제에서 85.0의 성능을 기록했다고 밝혔으며, 이는 논문에서 보고된 52.2, 62.2, 86.0와 유사합니다.
중요성 훈련은 두 단계의 SFT와 강화 학습만으로 구성되며, 데이터, 코드 및 재현 가중치가 모두 공개되어 있어 에이전트 훈련 레시피를 연구하는 사람들이 참고하기에 적합합니다
상승 점수 72 · 좋아요 73 · 다운로드 수 1315
이유
- 과학 연구 시나리오 대상: 과학 추론, 정보 검색 및 도구 사용 문제 해결을 지원하며, 모델 카드에는 논문 버전과 재현 버전의 성적이 나란히 기재되어 있습니다
- 훈련 데이터셋과 전체 훈련 코드(데이터 생성 및 필터링, 2단계 SFT, 비동기 강화 학습, 평가)가 GitHub bytedance/axion1_0에 공개되어 있으며, 라이선스는 Apache-2.0입니다
사용법
- vllm serve Axion1-0/Axion-1.0-35B 명령으로 실행하며, 예시에서는 8개의 카드를 사용한 텐서 병렬 처리와 131072 컨텍스트 길이를 설정하고, --reasoning-parser qwen3 및 --tool-call-parser qwen3_coder 옵션을 활성화합니다
- 도구 사용이 포함된 에이전트 작업을 실행하려면 도구 호출을 실행하는 별도의 프레임워크가 필요하며, 자세한 내용은 GitHub 저장소의 추론 가이드를 참조하세요
리스크
- GitHub 설명에 따르면 이는 Axion 공식 체크포인트가 아닌 커뮤니티 재현 버전입니다
- 비교 표의 다른 모델 점수는 대부분 각 모델의 공식 보고서에서 가져온 것으로, 평가 설정이 완전히 일치하지 않을 수 있습니다
- 본 항목은 실행되지 않았으므로 성능은 모델 카드를 기준으로 합니다