V4.1-Flash-1017의 커뮤니티 양자화/패키징 버전을 하나로 통합했으며, 현재 24개가 존재합니다. GGUF(unsloth, ISTA DASLab 등), EXL3, MLX, NVIDIA NVFP4 등의 형식을 지원합니다. 이전 수집(10-31)과 비교했을 때, 해당 기간 내에 새로 추가된 것은 오스트리아 과학기술 연구소(AIST) DASLab이 11-02에 공개한 GSQ-RCO Coder입니다. 이 버전은 IQ2_XXS 양자화 버전을 기반으로 하며, 각 계층의 라우팅 전문가 중 384개에서 192개를 제거하고, 남은 전문가는 코드, 에이전트 도구 호출, 긴 컨텍스트 및 비주얼을 위한 캘리브레이션 데이터를 기준으로 선택되었습니다.
다운로드 수(합계) 3296957 · 좋아요 수(합계) 1464
이유
- 저자에 따르면: Coder의 Transformer 가중치는 72.12 GB이며(가지치기 전 IQ2_XXS 버전은 138.2 GB), 원본 모델 파라미터 기준으로 환산 시 약 파라미터당 1.05 bit입니다. 두 개의 Engram 조회 테이블(110.6 GB)은 가지치기 전 버전과 공유되며, 토큰별로 디스크에서 행 단위로 읽어오므로 상주 메모리에 적재할 필요가 없고, 전체 다운로드 용량은 182.72 GB입니다.
- 저자가 제시한 코드 평가(추론 강도 50): SWE-bench Verified 점수가 원본 모델의 81.20에서 77.00로 하락했습니다(성능 유지율 94.8%). LiveCodeBench v6 점수는 89.71에서 88.57으로 하락했습니다(성능 유지율 98.7%). 전문가는 RCO 방법을 사용하여 모델 전체의 KL 발산을 기준으로 공동 선택되었으며, 계층별로 중요도 점수를 매겨 상위 순위를 선정하는 방식이 아닙니다. 각 계층에 남은 전문가 목록은 저장소에서 공개됩니다.
- 요약 내 다른 분기에는 변화가 없습니다. Coder는 해당 기간 내에 유일하게 새로 등장한 분기이며, 이 코너에서 '용도별 전문가 가지치기'를 적용한 V4.1 압축 버전을 처음 확인한 사례입니다.
사용법
- llama.cpp에는 b11870 이상 버전이 필요합니다: hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF --include "IQ2_XXS/*" "*Engram*" 명령어를 실행한 후, Engram 파일을 6번째 분기로 링크합니다(카드에 ln -s 및 Windows용 mklink /H 예시가 제공됨). llama-cli의 -m 인자는 1번째 분기를 가리키도록 지정하고 -ngl 99 옵션을 추가합니다.
- 이미 가지치기 전 GSQ-RCO 버전을 다운로드한 경우, Engram 파일과 비주얼 투영 mmproj는 동일하므로 다시 다운로드할 필요가 없습니다. 이미지 처리를 위해 --mmproj를 추가하고, 추론 강도는 --reasoning on --reasoning-effort 50로 설정합니다.
- 코드에 치우치지 않고 일반적인 대화만 수행하는 경우, 저자는 가지치기 전 GSQ-RCO 버전을 권장합니다. 다른 형식(unsloth GGUF, EXL3, MLX, NVFP4)은 요약 내 각 분기 페이지를 참조하세요.
리스크
- 저자는 이를 실험적 릴리스라고 명시했습니다: 전문가의 절반을 제거하면 필연적으로 성능 손실이 발생하며, 코드/도구 호출/긴 컨텍스트/비주얼 외의 능력 저하는 이 방법론의 대가입니다. 카드에는 두 가지 코드 평가 결과만 제공되었습니다. 단일 GPU Strata 엔진의 실행 단계와 VRAM 수치는 카드 내에서 아직 확정되지 않았습니다(TBD).
- 모든 점수는 저자가 추론 강도 50에서 자체 측정한 것으로, 제3자의 재현 검증이 없습니다. 약 72 GB의 가중치를 수용할 수 있는 메모리/VRAM 조합과 약 183 GB의 디스크 공간이 여전히 필요하며, Engram 테이블을 외장 드라이브에 저장하면 프리필링 속도가 느려질 수 있습니다.