DeepSeek은 자사의 대규모 온라인 서비스를 뒷받침하는 추론 프레임워크인 DeepInfer를 오픈소스로 공개했습니다. 이 버전은 오프라인(배치) 추론만 제공하며, 현재 DeepSeek-V4.1-Flash를 지원합니다.
스타 수 23403
신뢰도: 높음(80) · 이벤트 시간 2026-10-15
이유
- 저장소가 10-16에 생성되었습니다(최근 동향이며, 지난 24시간 이내의 과거가 아님). GitHub의 deepseek-ai 출처는 이전 주기에서 크롤링에 실패했으나, 이번 주기에 처음으로 후보에 포함되었습니다.
- 공식적으로 이는 온라인 서비스에 사용되는 동일한 프레임워크라고 설명합니다. 자체 개발한 FlashMLA, DeepGEMM, DeepEP 등의 커널, Attention DP / CP 및 MoE EP + EPLB 병렬 처리, 신뢰도에 따른 검증을 수행하는 DSpark 추측 디코딩, 비동기 스케줄링을 포함합니다.
- batch-invariant 추론 및 결정적 샘플링을 활성화할 수 있어, 동일한 입력과 동일한 샘플링 파라미터로 일관된 출력을 생성합니다(NVIDIA 전용). 정규식, JSON Schema 또는 EBNF를 통한 출력 제약을 지원합니다.
- 저장소에는 AIME 2026, HLE, GPQA Diamond의 오프라인 평가 스크립트가 포함되어 있습니다. 스타 수는 단지 관심도를 나타냅니다.
사용법
- 환경: Linux, GCC 13+, Python 3.12이 필요하며, NVIDIA는 CUDA 13, Ascend는 CANN 9.2이 필요합니다. 빈 Python 3.12 환경에서 export DEEPINFER_ACCELERATOR=nvidia(Ascend의 경우 ascend로 설정)를 실행한 후 ./build.sh를 실행합니다.
- python examples/offline_inference.py는 기본적으로 deepseek-ai/DeepSeek-V4.1-Flash-1017을 Hugging Face 캐시로 다운로드합니다. 이미 로컬 가중치가 있는 경우 DEEPINFER_HF_MODEL_DIR을 해당 경로로 지정하고, 멀티 GPU 사용 시 --ep 8, --ep 2 --dp 8 등의 파라미터를 사용합니다.
- 결정적 출력: DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0를 설정하고, SamplingParams에 고정된 seq_seed를 전달합니다. 구조화된 출력을 위해 SamplingParams에 so_args를 전달합니다.
리스크
- NVIDIA SM100 아키텍처 GPU와 Huawei Ascend 950 NPU만 지원하므로, 소비자용 그래픽 카드는 사용할 수 없습니다. 공식 성능 그래프는 4개 카드를 사용한 prefill, 64개 카드를 사용한 decode 측정 결과입니다.
- 이 버전에는 KV 캐시 시스템, Prefill/Decode 분리 배포 및 다중 복제 로드 밸런싱이 포함되어 있지 않아 완전한 온라인 서비스로 직접 구축할 수 없습니다. 현재 V4.1-Flash 모델 하나만 지원합니다.