원제: microsoft/Aion-1.0-Instruct-2.3B
Microsoft Windows & Devices 응용 과학 그룹이 11월 18일에 업로드한 지시 모델로, Windows 생태계 내 기본 소형 모델을 목표로 하며 이전 세대 시스템 소형 모델인 Phi Silica를 대체합니다. 약 2.29B 파라미터(입력 및 출력 임베딩 공유), 28 레이어 구조를 가지며, 이 중 21 레이어는 윈도우 크기 2048의 슬라이딩 윈도우 어텐션이고, 7 레이어는 전체 어텐션(GQA, 쿼리 헤드 24개, KV 헤드 8개)입니다. 컨텍스트 길이는 32,768 토큰이며, 어휘 크기는 200,029이고, 지식 기준 시점은 2025년 12월입니다. 영어, 독일어, 스페인어, 포르투갈어, 이탈리아어, 프랑스어, 중국어, 일본어 등 8개 언어를 지원하며, 문서 이해, 요약, 재작성, 질의응답 및 대화 기능을 중심으로 제공되고 도구 호출 형식을 지원합니다. 공식 설명에 따르면, Microsoft 콘텐츠 심사 모델을 추가한 최적화 버전은 2027년 1월 말까지 Windows 시스템 소형 모델로 채택될 예정이며, 이번에는 양자화되지 않은 버전을 먼저 공개하고 양자화 버전은 이후에 배포됩니다. MIT 라이선스 적용.
중요성 공식적으로 콘텐츠 심사 모델을 추가한 최적화 버전이 내년 1월 말까지 Windows 시스템 내장 소형 모델로 채택될 예정이며, 이는 사전 공개된 프리뷰입니다.
상승 점수 47 · 좋아요 67 · 다운로드 수 788
이유
- 공식적으로 lm-evaluation-harness를 사용하여 자체 테스트한 결과: MMLU 55.15, MMLU-Pro 33.35, GPQA 28.18, GSM8K 74.91, MATH-500 48.00, IFEval 83.90, Multi-IF 64.70, IFBench 32.00; 모델 카드에는 다른 모델과의 비교 데이터가 포함되어 있지 않습니다.
- 학습 데이터는 Phi Silica의 데이터를 기반으로 확장되었으며, 엄격하게 선별된 공개 문서와 수학, 코드, 상식 추론을 위해 새로 생성된 합성 데이터를 포함하고 있으며, 다국어 데이터 비중은 약 6%입니다.
- 데이터가 디바이스를 벗어나지 않는 온디바이스 처리를 목표로 하며, 여러 페이지의 문서, 긴 이메일 스레드, 기술 사양 등을 전체적으로 32K 컨텍스트에 포함할 수 있습니다.
사용법
- Transformers 5.x: AutoModelForCausalLM / AutoTokenizer를 사용하여 microsoft/Aion-1.0-Instruct-2.3B를 로드해야 하며, trust_remote_code=True(커스텀 모델 코드 modeling_aion_instruct.py), dtype="auto", device_map="auto" 설정이 필수입니다.
- 대화 시 저장소에 포함된 chat_template.jinja를 사용하며, 각 턴은 <|end|>로 종료됩니다. 선택적으로 템플릿 변수 model_identity, knowledge_cutoff, current_date를 사용할 수 있습니다.
- 도구 호출: apply_chat_template(..., tools=tools)을 통해 도구 설명을 시스템 프롬프트에 삽입하면, 모델은 <|tool_call|>{"name": ..., "arguments": {...}}<|/tool_call|> 형식으로 출력하며, 도구 결과는 <|tool_response|>로 시작하여 사용자 턴으로 반환됩니다. 예제 코드는 GitHub의 microsoft/Aion-Instruct-Preview-Sample에서 확인할 수 있습니다.
리스크
- 현재 BF16 safetensors 형식만 제공됩니다. 모델 카드에는 ONNX 및 GGUF가 나열되어 있지만, 양자화 버전은 아직 업로드되지 않았습니다.
- 공식적으로 세계 지식이나 복잡한 다단계 추론에 약하며 오류가 발생할 수 있다고 명시했으며, 보안 지표인 XPIA, DIC, ECI는 향후 버전에서 개선되어야 하고 적대적 프롬프트에 의해 쉽게 유도될 수 있습니다. 시스템 통합 시에는 별도의 콘텐츠 심사 모델이 함께 구성됩니다.
- 평가 점수는 자체 측정 결과만 있으며, 동일 크기 모델과의 비교가 없습니다. 다국어 데이터 비중이 낮아 영어 외 언어의 출력 품질이 일정하지 않을 수 있습니다. 본 항목은 실행되지 않았습니다.