공식 V4.1-Flash-1017 가중치의 16개 커뮤니티 양자화 버전으로, GGUF(llama.cpp 및 몇 가지 전용 엔진), EXL3(멀티 GPU vLLM / exllamav3), MLX 및 Apple Silicon 전용 형식을 포함합니다. 이번 호에서는 모델 카드를 하나씩 검토하여 검열 제거 또는 미세 조정 버전이 섞이지 않았음을 확인했습니다.
총 다운로드 수 1515552 · 총 좋아요 수 843
이유
- ISTA-DASLab의 GSQ-RCO GGUF는 IQ1_M, IQ2_XXS, IQ2_XS 세 가지 등급(총 약 231–266 GB)을 제공하며, 10-27 업데이트 이후 llama.cpp 메인 브랜치 b11870 이상에서 로드할 수 있고 이미지 입력을 지원합니다. 저자는 IQ2_XXS가 AIME25, GPQA-Diamond, LiveCodeBench v6에서 원본과 동등한 성능을 낸다고 주장합니다(저자 자체 테스트, 추론 노력 50).
- 128 GB 메모리 머신에는 몇 가지 경로가 있습니다. 저자는 Maya-XS(Project Maya 엔진)가 상주 메모리 115.3 GB를 사용한다고 밝혔습니다. ds4 버전의 Q2 GGUF는 128 GB Mac의 SSD 스트리밍 읽기를 대상으로 합니다. unsloth는 최소 1-bit 버전에 128 GB 이상의 메모리가 필요하다고 언급했습니다.
- 멀티 GPU 환경에서는 EXL3 솔루션이 있습니다. diffbot 버전은 2개의 RTX PRO 6000을, franken-v100 버전은 8개의 V100 32GB를 대상으로 합니다. LibertAI의 2.9 bpw 버전은 공식 인코더를 포팅한 chat_template.jinja를 포함하며, 저자는 참고 구현과 8,455개의 사용 사례에서 렌더링 결과가 일치한다고 주장합니다.
- 총 다운로드 수와 좋아요 수는 단지 관심도를 나타냅니다.
사용법
- llama.cpp: hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF --include "*IQ2_XXS*" "*Engram*" --local-dir . 명령어를 실행한 후, 모델 카드에 따라 Engram 파일을 6번째 샤드로 심볼릭 링크한 뒤 llama-cli -m …-00001-of-00006.gguf로 로드합니다.
- Apple Silicon: mlx-community의 oQ4e / oQ2.5e(oMLX) 또는 beamster의 Sushi-STQ 1.75bpw(sushi v1.4.0+, macOS 26.2+ 필요)를 사용합니다.
- EXL3 패키지 대부분에는 두 개의 Engram 테이블이 포함되어 있지 않으므로, 공식 저장소에서 47번째 및 48번째 샤드(각각 약 95 GiB)를 별도로 가져와야 합니다.
리스크
- 가장 작은 버전이라도 Engram 테이블을 포함하면 200~300 GB에 달하며, Engram은 빠른 SSD에 저장해야 합니다. 각 저장소가 요구하는 엔진과 브랜치가 다릅니다(mrfakename 버전은 특정 llama.cpp 브랜치를 요구하며, unsloth 버전은 해당 PR이나 Unsloth Desktop을 사용해야 합니다). 다운로드 전에 해당 모델 카드를 먼저 확인하십시오.
- 품질 수치(KLD, top-1 일치율, 벤치마크 점수)는 모두 각 저자의 자체 테스트 결과로 기준이 서로 다릅니다. lossless-CSF 버전은 사용자 정의 LIL 라이선스를 사용하며 전용 로더가 필요합니다.