원제: nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft
엔비디아가 11월 17일에 공개한, Model Optimizer를 활용해 학습한 외부 초안 모델(4.21B 파라미터, Qwen3.5-4B 기반, 타겟 모델과 토크나이저 및 어휘 사전 공유). 서빙 시 타겟 모델의 샘플링 설정에 따라 한 번에 후보 토큰 세트를 제안하며, Qwen3.8-27B가 기각 샘플링(rejection sampling)으로 검증한다. 최종 출력은 타겟 모델이 단독 생성했을 때와 동일한 분포를 가지며, 디코딩 지연 시간만 감소시킨다. 학습에는 Nemotron-Post-Training-Dataset-v2의 199,998개 단일 턴 프롬프트를 사용했으며, 답변은 Qwen3.8-27B가 생성했고, 각 위치에서 상위 20개 토큰의 확률 분포를 학습 신호로 기록하였다.
왜 중요한가 출력 분포가 원본 모델과 완전히 일치하며 디코딩 지연만 감소시킨다. 공식적으로 매 검증 시 평균적으로 허용되는 토큰 수가 모델 자체의 다중 토큰 예측(MTP) 헤드보다 현저히 많다고 밝혔다.
상승 점수 63 · 좋아요 67 · 다운로드 수 290
이유
- SPEED-Bench 정성적 하위 집합, 초안 블록 16: 평균 허용 길이 5.58, Qwen3.8-27B 자체 MTP 헤드는 3.81; 32K 긴 컨텍스트 하위 집합에서는 5.11 대 3.86
- 동일 시리즈에는 Qwen3.5-0.8B(3.92 / 3.60) 및 Llama-3.2-1B(3.42 / 3.07)의 더 작은 초안 모델 두 가지가 있으며, 동일한 데이터와 동일한 평가 기준을 적용함
- 카테고리별로 보면 RAG, 다국어, 요약의 허용 길이가 가장 높고(6.58, 6.55, 6.19), 역할극과 작문이 가장 낮음(4.41, 4.59)
사용법
- 배포 시 Qwen3.8-27B의 외부 초안 모델로 연결: 모델 카드에서는 vLLM을 지원 엔진으로 명시했으며, SGLang 및 TRT-LLM에서도 로드 가능하다고 언급함; 입력에는 Qwen3.8-27B의 토크나이저를 사용해야 함
- 초안은 온도 1.0, top-k 20, top-p 0.95로 샘플링하며, 타겟 모델의 서빙 설정과 일치시킴; 학습 시퀀스 길이는 12,288 토큰
리스크
- 모델 카드에 실행 명령어와 실제 가속 배율이 명시되어 있지 않고 허용 길이만 제공됨; 공식적으로는 주로 엔비디아 Groq 3 LPU 배포를 대상으로 하며, 나열된 GPU 아키텍처는 Blackwell뿐임
- 초안 모델 자체는 4.21B 파라미터로, 27B 타겟 모델과 함께 GPU 메모리를 점유해야 하며, 추가 메모리 요구 사항은 모델 카드에 명시되지 않음
- 라이선스는 Apache가 아닌 엔비디아 오픈 모델 라이선스(NVIDIA Open Model License, 상업적 사용 가능)임. 본 항목은 실행되지 않음