원제: FrontiersMind/NandiBERT-150M
FrontiersMind가 11월 18일에 공개한 NandiBERT 시리즈 소형 모델: 인코더 파라미터 1.46억 개(파일에는 별도로 7700만 파라미터의 미바인딩 MLM 출력 레이어가 저장되어 있음), 28개 레이어, 숨겨진 차원(hidden dimension) 768, 그룹화 쿼리 어텐션(grouped query attention), QK-norm 및 SwiGLU 사용, 컨텍스트 길이 16,384 토큰, 10만 단어 사전에 대해 192 랭크 분해 임베딩 적용. 영어, 13개 인도 언어의 원문 표기(이 중 11개 언어는 로마자 표기도 지원) 및 동남아시아와 중동 언어를 커버합니다. 분류, 개체명 인식(NER), 재순위화(reranking) 및 검색을 위한 다운스트림 미세 조정을 위한 사전 학습된 인코더입니다.
왜 중요한가 분류, 개체명 인식 및 검색 재순위화 작업에서 영어와 인도 언어를 위해 각각 별도의 인코더를 준비할 필요가 없습니다. 공식적으로 동일한 크기의 모델들 사이에서 두 언어 모두 높은 성능을 기록했다고 합니다
상승 점수 28 · 좋아요 31 · 다운로드 수 173
이유
- 공식 인도 언어 벤치마크 평균 점수 67.37로, 2.72억 파라미터의 IndicBERT-v2(66.57)보다 높음
- 영어 벤치마크 평균 점수 62.20로, ModernBERT-base(60.69) 및 Ettin-Encoder-150M(61.48)보다 높으나, 순수 영어 모델인 UltraBERT-150M(64.59)보다는 낮음
- 같은 시리즈에는 4.45억 파라미터, 32K 컨텍스트 길이를 가진 NandiBERT-450M도 있으며, Apache-2.0 라이선스를 따름
사용법
- transformers 5.x 버전에서 trust_remote_code=True 옵션을 추가하고 AutoModelForMaskedLM을 로드하여 빈칸 채우기(masked language modeling)를 수행합니다. 분류 및 NER에는 AutoModelForSequenceClassification / AutoModelForTokenClassification을 사용하며, 이는 사전 학습된 MLM 헤드를 재사용합니다
- 공식적으로 NER의 학습률을 3e-5로 권장하며, 5e-6와 같은 낮은 학습률은 성능이 크게 저하됩니다. 단어 단위로 입력할 경우 원어를 직접 전달하십시오
리스크
- 미세 조정을 위한 인코더이므로 대화나 텍스트 생성은 불가능합니다. 기술 보고서는 아직 공개되지 않았으며, 학습 데이터에 대한 설명이 없고, 중국어는 지원 언어에 포함되지 않습니다
- IndicQA, MASSIVE 슬롯 필링(slot filling) 두 항목은 IndicBERT-v2보다 낮습니다. 점수는 공식 자체 테스트 결과(세 개의 랜덤 시드 평균)이며, 본 항목에서는 실행하지 않았습니다