Baseten의 Base Labs가 Qwen3.5-9B를 후처리하여 개발한 '의사결정 모델': 상태(텍스트, 이미지 포함 가능)와 질문 세트를 입력하면, 공유된 접두사에 대해 한 번의 프리필링(prefill)만 수행하여 각 질문의 모든 선택지에 대해 보정된 확률을 제공합니다. 이를 티켓 라우팅, 분류 및 가드레일 판단에 활용할 수 있습니다.
상승 점수 74 · 좋아요 75 · 다운로드 수 1344
이유
- 세 가지 질문 유형: 예/아니오(P(yes) 반환), 단일 선택(각 선택지 확률 반환), 순서형 점수(각 단계 확률 반환); 학습 목표는 교차 엔트로피 외에 Brier 보정 항을 추가했으며, '모르겠음' 선택지 학습도 포함되었습니다.
- 공식적으로 Jev 의사결정 지수 0.4에서 62.65점을 획득하여, 15B 이하 모델 중 최고이며, 208개 모델 중 공동 8위를 기록했습니다. 자체 구축한 Artificial Analysis 의사결정 지수 복제본에서는 65.2점을 기록하여 d1-ultra(65)와 동률을 이뤘습니다. 같은 계열의 27B 모델인 mammoth-1는 더 높은 점수(71.24)를 기록했습니다.
- 학습 데이터는 의사결정 샘플 6.21M개이며, 그중 16.1%는 안전성 및 답변 거부 관련 데이터입니다. 언어 부분은 전체 미세 조정(fine-tuning)을 수행하고 비전 인코더는 동결했습니다. MIT 라이선스를 적용하며, 이전 호에서는 다루지 않았습니다.
사용법
- 자체 호스팅: hf download baselabs/elephant-1 --local-dir elephant-1 && bash elephant-1/setup.sh를 실행하여 고정 버전의 OneJev 서비스 런타임(serve.patch 적용)을 설치합니다. CUDA GPU와 pytorch/pytorch:2.8.0-cuda12.8-cudnn9-devel 이미지가 필요합니다.
- 호출: DecisionEngine("baselabs/elephant-1", device="cuda:0").decide(SystemOneRequest(state=텍스트, questions={...})); questions에서 각 질문의 type(noul / choice / score)과 instructions를 지정하며, choice와 score 유형은 criteria도 지정해야 합니다.
리스크
- 최대 토큰 길이는 16,384이며, 초과 요청은 잘림(truncation) 없이 즉시 거부됩니다. 언어 태그는 영어만 지원됩니다.
- 공식 Baseten 무료 API 주기는 10월 27일에 종료되었습니다. 두 지수 중 하나는 공식에서 자체 복제한 버전입니다.
- 표준 Transformers 추론 방식이 아니므로, 저장소의 setup.sh와 패치를 실행해야 합니다.