V4.1-Flash-1017의 커뮤니티 및 제조사 양자화 버전 22개를 하나로 통합하여 GGUF, EXL3, MLX, GSQ, NVFP4 등 형식을 포함합니다. 10-30과 비교할 때, NVIDIA 10-30은 NVFP4 버전을 출시했으며, turboderp의 EXL3에는 2.68bpw 단계가 신규 추가되었습니다.
다운로드 수 (합계) 2359927 · 좋아요 수 (합계) 1106
이유
- nvidia/DeepSeek-V4.1-Flash-1017-NVFP4: Model Optimizer를 사용하여 라우팅 전문가를 원본 MXFP4에서 NVFP4(W4A4)로 변환하고, Engram 조회 테이블을 FP8에서 MXFP4로 변환하며, 어텐션, 공유 전문가, 비전 및 MTP는 원본 정밀도를 유지합니다. 카드에는 약 400 GiB(원본 약 475 GiB), 48개 분할 파일, MIT 라이선스, 상업적 사용 가능이라고 명시되어 있습니다.
- NVIDIA는 GB300 4개에서 vLLM으로 측정한 6가지 비교 결과가 원본 가중치와 거의 동등하다고 보고했습니다(예: GPQA Diamond 92.93 대 92.77, Terminal-Bench 2.1 81.11 대 81.81). 또한 전문가 가중치 변환은 손실 없이 이루어졌으며, Engram 변환은 손실이 있음을 명시했습니다.
- turboderp/DeepSeek-V4.1-Flash-1017-exl3에는 현재 2.25bpw 및 2.68bpw 두 가지 브랜치가 있으며, 여전히 ExLlamaV3 v1.6.6 또는 dev 브랜치가 필요합니다. 더 많은 단계와 평가는 추후 추가될 예정입니다.
사용법
- Blackwell 데이터센터 카드: MXFP4 Engram 지원(vllm-project/vllm#61530)이 포함된 vLLM 빌드를 사용하며,
vllm serve nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 --tensor-parallel-size 4 --tokenizer-mode deepseek\_v41 --kv-cache-dtype fp8 --reasoning-parser deepseek\_v41를 실행합니다(전체 매개변수는 카드 참조). 도구 호출을 추가로 사용하려면--enable-auto-tool-choice --tool-call-parser deepseek\_v41를 추가합니다. - 단일 카드 / 소비자용: ExLlamaV3 v1.6.6 이후
hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.68bpw를 실행합니다. CPU + 대용량 메모리는 unsloth GGUF 또는 ISTA-DASLab GSQ-RCO(llama.cpp b11870 이상)를 참조하세요. Apple 칩은 mlx-community의 oQ 시리즈를 참조하세요.
리스크
- NVFP4 버전은 Blackwell만 지원하며, 공식 vLLM 이미지에는 로드할 수 없으므로 위의 PR을 병합해야 합니다. SGLang은 검증되지 않았으며, MTP 투기적 디코딩은 테스트되지 않았습니다.
- 공식 저장소 논의 #33(비사고 모드에서 시스템 프롬프트가 있을 때 짧은 인사말에 대한 약 47%의 응답이 혼란스러워지며, 공식 API에서도 재현 가능)은 여전히 open 상태이며 공식 확인은 없습니다. turboderp 카드도 짧은 프롬프트 출력의 혼란은 대부분 모델 자체의 문제임을 경고합니다. 기타 양자화 품질 비교는 모두 저자의 자체 테스트이며, 다운로드 수는 관심도를 나타낼 뿐입니다.