원제: AuroraAI-Research/Aurora2-400M-A20M
AuroraAI-Research가 11월 18일에 업로드한 연구용 베이스 모델: 총 파라미터 약 4억 개, 토큰당 활성 파라미터 약 1900만 개, 12층, 숨겨진 차원(hidden dimension) 192, 각 층마다 라우팅 전문가(routed experts) 32개(top-1)와 공유 전문가(shared experts) 1개, 컨텍스트 길이 2,048 토큰, 자체 학습한 어휘 크기 16,384의 바이트 단위 BPE 토크나이저(숫자는 자릿수별로 분할). 단일 RTX Pro 6000에서 약 36시간 동안 1000억 토큰을 학습했으며, 데이터는 ClimbMix 웹 텍스트가 주를 이루고 FineMath, 위키백과, 수학 추론 및 smoltalk 대화 데이터가 포함됨. 사전 학습만 수행했으며, 지시어 미세 조정(instruction tuning)이나 RLHF는 적용하지 않음.
중요성 아키텍처 세부 사항, 데이터 비율 및 학습 시간을 완전히 공개하여 개인 연구자가 소규모 MoE 실험을 그대로 재현할 수 있으며, Apache 라이선스 적용
상승 점수 31 · 좋아요 42 · 다운로드 수 643
이유
- 모델 카드에 아키텍처 기술이 모두 명시됨: 해시 n-gram 임베딩, 임베딩 스킵 연결, 값 잔차(value residual), 헤드별 어텐션 게이팅, 학습 가능한 라우팅 편향, 그리고 로드 밸런싱 및 라우터 z-loss 계수
- 토큰 손실이 없는 top-1 라우팅, Muon 옵티마이저 사용; 소형 모델, 희소 전문가 라우팅 및 학습 효율성 연구에 적합
- 저장소에서 FP32, BF16, FP16 세 가지 정밀도의 가중치를 제공
사용법
- transformers를 사용하여 AuroraAI-Research/Aurora2-400M-A20M 로드(토크나이저는 저장소 루트에 있으며, 시작 부분에 BOS 토큰을 자동으로 추가함), generate를 사용하여 텍스트 생성, 모델 카드의 예시 온도 값은 0.5
- BF16 / FP16 가중치는 각각 bf16/, fp16/ 하위 디렉터리에 있음; 추론 구현은 BF16 활성화를 사용하며, BF16을 지원하는 CUDA GPU 사용을 권장
- 배치 추론 시 배치 크기(batch size) 1 또는 패딩 없는 배치를 사용; 빔 서치(beam search)는 지원되지 않음
위험 요소
- 지시어 미세 조정을 거치지 않은 베이스 모델이므로 채팅 어시스턴트로 사용할 수 없음; 토큰당 약 2천만 개의 파라미터만 활성화되어 지식, 추론 및 장거리 일관성이 매우 제한적임
- 주로 영어 데이터로 학습되었으며, 컨텍스트 길이는 2,048 토큰에 불과함; 모델 카드에 벤치마크 점수가 제공되지 않았으므로, 다운스트림 작업에 사용 전에 각 학습 데이터셋의 라이선스를 확인해야 함. 이 항목은 실행되지 않음