Basalt(NVIDIA Blackwell sm_120 그래픽 카드를 위한 로컬 추론 엔진으로, OpenAI 및 Anthropic 인터페이스와 호환됨)용 모델 패키지입니다. 각 파일에는 Unsloth로 양자화된 DeepSeek-V4.1-Flash-1017 가중치, Engram 테이블, 비전 투영, 토크나이저 및 DSpark 초안 모델이 포함되어 있으며, UD-IQ1_M(260 GB)과 UD-IQ2_XXS(285 GB) 두 가지 등급으로 제공됩니다. 이미지 입력과 최대 1,048,576 토큰 컨텍스트를 지원합니다. 저자는 RTX 5090 및 5060 Ti에서 단일 스트림 생성 속도가 약 40–179 tok/s라고 주장하며, 이는 등급과 내용에 따라 달라집니다.
왜 중요한가 VRAM에 맞지 않는 전문가(Expert) 모델은 메모리에 남겨두어, 소비자용 Blackwell 그래픽 카드에서도 이 대형 MoE 모델을 로컬에서 실행할 수 있습니다.
상승 점수 8 · 좋아요 8 · 다운로드 수 0
이유
- 모델 카드에는 BF16 기준과의 퍼플렉시티, KL 발산 및 선호 토큰 일치율이 명시되어 있습니다
사용법
- Basalt 0.3.0 이상이 필요하며, 해당 .basalt 파일을 다운로드한 후 Basalt에서 로드합니다
리스크
- 속도 및 품질 수치는 저자가 자신의 하드웨어에서 측정한 것입니다
- 단일 파일이 260 GB부터 시작하므로 대용량 메모리와 디스크 공간이 필요하며, Blackwell 그래픽 카드만 지원됩니다