이 저장소는 Flare(NVIDIA의 오픈소스 Rust 로컬 추론 런타임)용 DeepSeek-V4.1-Flash-1017 실행 패키지를 배포합니다. 각 버전에는 4-GPU 텐서 병렬 처리를 위한 사전 처리된 가중치, 컴파일된 커널, 캡처된 실행 그래프 및 서명 메타데이터가 포함되어 있습니다. 텍스트 및 이미지 입력을 지원하며, 요청당 최대 1,048,576 토큰을 처리하고 OpenAI와 호환되는 인터페이스를 제공합니다. gb202 및 gb10 두 가지 플랫폼 버전으로 제공되며, 후자는 런타임 변환을 생략하기 위해 전문가 스케일링을 사전에 전개합니다.
왜 중요한가 커널과 실행 그래프가 모두 사전 컴파일되어 Python이 필요 없으므로, 로컬 DGX 또는 다중 GPU 머신에서 OpenAI 호환 서비스를 직접 실행할 수 있습니다.
상승 점수 2 · 좋아요 18 · 다운로드 수 0
이유
- 실행 패키지에는 게시자 서명이 포함되어 있으며, Flare는 로드 전에 이를 검증합니다
사용법
- Flare를 설치한 후 해당 플랫폼 버전을 다운로드하여 실행하세요. 동일 버전의 파일은 함께 배치해야 하며 혼용할 수 없습니다
리스크
- Transformers, vLLM, SGLang, llama.cpp는 이 형식을 로드할 수 없습니다
- 4개의 GPU 또는 4개의 장치가 필요합니다