바이트댄스 등이 공개한 에이전트 모델 Axion 1.0, 단 3단계 훈련으로 완성

The Decoder에 따르면, 바이트댄스와 듀크 대학교, 메릴랜드 대학교, 버팔로 대학교 연구자들이 에이전트 기반 모델 Axion 1.0을 공개했다. 이 모델의 훈련은 단 세 단계로 구성된다. 두 번의 경량화된 지도 미세 조정(SFT)과 한 번의 강화 학습(RL)으로 진행되며, 별도의 중간 단계 훈련, DPO(직접 선호 최적화) 또는 온라인 증류 과정은 포함되지 않는다. 기술 보고서에 따르면, 1단계에서는 기반 모델의 문제 해결 전략을 바탕으로 난이도 높은 추론 문제를 활용하고, 2단계에서는 실제 데이터 소스로부터 구축되어 정답을 자동으로 검증할 수 있는 도구 호출(tool-calling) 작업을 사용한다. 마지막 단계에서는 강화 학습을 통해 장거리 추론 및 도구 상호작용 능력을 향상시킨다. 논문은 이 모델이 여러 에이전트 벤치마크 평가에서 선두 주자인 상용 모델들과 경쟁할 수 있는 성능을 보인다고 밝혔다. GitHub 저장소에는 데이터 구축, 필터링, 프롬프트 및 훈련 코드가 공개되어 있으며, 훈련 데이터는 Hugging Face에 게시되어 있다. 두 가지 버전은 각각 Qwen3.6-35B-A3B와 Qwen3.5-122B-A10B를 기반으로 훈련되었다.

원제: Bytedance argues most AI training phases are unnecessary and backs it up with a competitive open model

The Decoder에 따르면, 바이트댄스와 듀크 대학교, 메릴랜드 대학교, 버팔로 대학교 연구자들이 에이전트 기반 모델 Axion 1.0을 공개했다. 이 모델의 훈련은 단 세 단계로 구성된다. 두 번의 경량화된 지도 미세 조정(SFT)과 한 번의 강화 학습(RL)으로 진행되며, 별도의 중간 단계 훈련, DPO(직접 선호 최적화) 또는 온라인 증류 과정은 포함되지 않는다. 기술 보고서에 따르면, 1단계에서는 기반 모델의 문제 해결 전략을 바탕으로 난이도 높은 추론 문제를 활용하고, 2단계에서는 실제 데이터 소스로부터 구축되어 정답을 자동으로 검증할 수 있는 도구 호출(tool-calling) 작업을 사용한다. 마지막 단계에서는 강화 학습을 통해 장거리 추론 및 도구 상호작용 능력을 향상시킨다. 논문은 이 모델이 여러 에이전트 벤치마크 평가에서 선두 주자인 상용 모델들과 경쟁할 수 있는 성능을 보인다고 밝혔다. GitHub 저장소에는 데이터 구축, 필터링, 프롬프트 및 훈련 코드가 공개되어 있으며, 훈련 데이터는 Hugging Face에 게시되어 있다. 두 가지 버전은 각각 Qwen3.6-35B-A3B와 Qwen3.5-122B-A10B를 기반으로 훈련되었다.

왜 중요한가 에이전트 훈련 파이프라인은 점점 복잡해지고 재현이 어려워지고 있다. Axion은 단순한 레시피만으로도 상용 모델에 근접한 성능을 낼 수 있음을 보여주며, 오픈소스 커뮤니티가 이를 참고하여 재현하고 개선할 수 있는 가능성을 제시한다.

신뢰도: 높음 · 출처: 바이트댄스 GitHub(axion1_0) 등 3개 기관(공식 포함) · 이벤트 발생 시간: 11-21 17:17 (베이징 시간)

근거

  • 바이트댄스 GitHub 저장소와 arXiv 기술 보고서에 전체 훈련 레시피가 공개됨
  • The Decoder의 보도

활용 방법

  • GitHub 저장소 bytedance/axion1_0에 훈련 코드와 재현 지침이 포함되어 있으며, 훈련 데이터는 Hugging Face 데이터셋 Axion1-0/axion-training-data에 있음

리스크

  • 저장소 README에 따르면, Hugging Face에 게시된 Axion 1.0-35B는 커뮤니티 재현 버전으로 공식 가중치가 아님
  • 일부 비교 모델의 점수는 Axion 팀이 자체적으로 평가한 것임(README에서 별표(*)로 표기). 기술 보고서는 11월 2일에 arXiv에 이미 게시되었으나, 본 기사는 미디어 보도를 기준으로 수록함

열기 · 바이트댄스 GitHub(axion1_0) · arXiv 기술 보고서

The Decoder

최신 AI 소식 보기