원제: MinimaLabs/KLM-1.6
MinimaLabs의 99M 파라미터 영어 기반 모델로, KLM 1.5의 감쇠 이전 체크포인트에서 학습을 이어갔습니다. 주요 변경 사항은 학습률 감쇠 단계가 20B 토큰에서 100B 토큰으로 연장된 것뿐입니다. 학습은 세 단계로 진행됩니다. 먼저 토큰 중첩 학습(Token-Superposition Training, 각 입력 위치는 7개의 연속된 토큰의 평균)으로 워밍업을 수행하며, 저자들은 약 18B의 연산량으로 128B 토큰을 커버했다고 설명합니다. 이후 일정한 학습률로 80B 토큰을 학습하고, 마지막으로 100B 토큰에 대해 감쇠를 적용합니다. 아키텍처는 24층의 Gated DeltaNet-2과 어텐션 3:1의 혼합 구조이며, 추가로 12.5만 개의 바이그램과 3.8만 개의 트리그램 n-gram 메모리를 포함합니다. 저자들은 Open SLM 리더보드에서 지능 지수 33.95를 기록했으며, 100M, 150M, 250M 이하의 세 가지 카테고리에서 모두 1위를 차지했다고 주장합니다.
왜 중요한가 1억 파라미터 미만 모델의 학습 레시피 샘플: 토큰 중첩 워밍업, 선형 어텐션 혼합 아키텍처 및 n-gram 메모리가 모두 모델 카드에 명시되어 있음
상승 점수 51 · 좋아요 51 · 다운로드 수 666
이유
- 학습 데이터 출처, 3단계 학습 과정, 옵티마이저 설정 및 아키텍처 파라미터가 모두 모델 카드에 상세히 기술되어 있어 소형 모델 학습의 재현이 용이함
- 순수 PyTorch 구현으로, transformers 라이브러리만 필요하며 CPU에서도 실행 가능
사용법
- AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True)를 사용하여 로드한 후 텍스트를 생성
- 이는 기반 모델이므로 대화나 추론을 수행하려면 직접 미세 조정해야 함. 토크나이저에는 <|im_start|>, <think> 등의 특수 토큰이 이미 예약되어 있음
리스크
- 영어만 지원하며, 컨텍스트 길이는 2,048 토큰임. 저자들은 지식이 얕고 사실 진술이 자주 오류가 난다고 언급함
- 안전 정렬(Safety Alignment)이 적용되지 않았으므로, 사용자에게 제공하기 전에 자체 필터링을 추가해야 함
- 리더보드 비교는 저자가 인용한 것이며, 본 항목에서는 실행되지 않음