KLM 1.6: 1억 파라미터 미만의 소형 기반 모델

MinimaLabs의 99M 파라미터 영어 기반 모델로, KLM 1.5의 감쇠 이전 체크포인트에서 학습을 이어갔습니다. 주요 변경 사항은 학습률 감쇠 단계가 20B 토큰에서 100B 토큰으로 연장된 것뿐입니다. 학습은 세 단계로 진행됩니다. 먼저 토큰 중첩 학습(Token-Superposition Training, 각 입력 위치는 7개의 연속된 토큰의 평균)으로 워밍업을 수행하며, 저자들은 약 18B의 연산량으로 128B 토큰을 커버했다고 설명합니다. 이후 일정한 학습률로 80B 토큰을 학습하고, 마지막으로 100B 토큰에 대해 감쇠를 적용합니다. 아키텍처는 24층의 Gated DeltaNet-2과 어텐션 3:1의 혼합 구조이며, 추가로 12.5만 개의 바이그램과 3.8만 개의 트리그램 n-gram 메모리를 포함합니다. 저자들은 Open SLM 리더보드에서 지능 지수 33.95를 기록했으며, 100M, 150M, 250M 이하의 세 가지 카테고리에서 모두 1위를 차지했다고 주장합니다.

원제: MinimaLabs/KLM-1.6

MinimaLabs의 99M 파라미터 영어 기반 모델로, KLM 1.5의 감쇠 이전 체크포인트에서 학습을 이어갔습니다. 주요 변경 사항은 학습률 감쇠 단계가 20B 토큰에서 100B 토큰으로 연장된 것뿐입니다. 학습은 세 단계로 진행됩니다. 먼저 토큰 중첩 학습(Token-Superposition Training, 각 입력 위치는 7개의 연속된 토큰의 평균)으로 워밍업을 수행하며, 저자들은 약 18B의 연산량으로 128B 토큰을 커버했다고 설명합니다. 이후 일정한 학습률로 80B 토큰을 학습하고, 마지막으로 100B 토큰에 대해 감쇠를 적용합니다. 아키텍처는 24층의 Gated DeltaNet-2과 어텐션 3:1의 혼합 구조이며, 추가로 12.5만 개의 바이그램과 3.8만 개의 트리그램 n-gram 메모리를 포함합니다. 저자들은 Open SLM 리더보드에서 지능 지수 33.95를 기록했으며, 100M, 150M, 250M 이하의 세 가지 카테고리에서 모두 1위를 차지했다고 주장합니다.

왜 중요한가 1억 파라미터 미만 모델의 학습 레시피 샘플: 토큰 중첩 워밍업, 선형 어텐션 혼합 아키텍처 및 n-gram 메모리가 모두 모델 카드에 명시되어 있음

상승 점수 51 · 좋아요 51 · 다운로드 수 666

이유

  • 학습 데이터 출처, 3단계 학습 과정, 옵티마이저 설정 및 아키텍처 파라미터가 모두 모델 카드에 상세히 기술되어 있어 소형 모델 학습의 재현이 용이함
  • 순수 PyTorch 구현으로, transformers 라이브러리만 필요하며 CPU에서도 실행 가능

사용법

  • AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True)를 사용하여 로드한 후 텍스트를 생성
  • 이는 기반 모델이므로 대화나 추론을 수행하려면 직접 미세 조정해야 함. 토크나이저에는 <|im_start|>, <think> 등의 특수 토큰이 이미 예약되어 있음

리스크

  • 영어만 지원하며, 컨텍스트 길이는 2,048 토큰임. 저자들은 지식이 얕고 사실 진술이 자주 오류가 난다고 언급함
  • 안전 정렬(Safety Alignment)이 적용되지 않았으므로, 사용자에게 제공하기 전에 자체 필터링을 추가해야 함
  • 리더보드 비교는 저자가 인용한 것이며, 본 항목에서는 실행되지 않음

열기

Hugging Face Trending

최신 AI 소식 보기