V4.1-Flash-1017의 18개 커뮤니티 양자화/패키징 버전을 하나로 통합하여 GGUF, EXL3, MLX, GSQ 등 형식을 포함합니다. 10-28과 비교할 때, turboderp 10-29은 EXL3 리포지토리를 새로 열었으며, unsloth, ISTA-DASLab, mlx-community도 10-28부터 10-29까지 파일을 업데이트했습니다.
총 다운로드 수 2081926 · 총 좋아요 수 928
이유
- turboderp/DeepSeek-V4.1-Flash-1017-exl3는 10-29에 리포지토리를 생성했으며, 현재 2.25bpw 한 단계만 존재합니다(2.25bpw 브랜치에 위치). 모델 카드에는 ExLlamaV3 v1.6.6 또는 dev 브랜치가 필요하다고 명시되어 있으며, 추가 단계와 평가는 추후 업데이트될 예정입니다.
- unsloth GGUF는 10-28부터 10-29까지 'Better versions / Better quants update'를 연속으로 커밋했습니다. 모델 카드에 따르면 최소 1-bit 단계는 128 GB 이상의 메모리를 갖춘 머신에서 실행 가능하며, 3-bit는 256 GB, 전체 정밀도는 320 GB가 필요하며, 해당 llama.cpp PR 또는 Unsloth Desktop을 사용해야 합니다.
- ISTA-DASLab의 GSQ-RCO GGUF 10-27는 llama.cpp b11870 이상에서 DeepSeek-V4.1 레이아웃을 사용하도록 변경되었으며, 10-28 변환 스크립트는 공식적으로 공개된 SHA-256를 개별적으로 확인하도록 수정되어 다운로드가 손상된 경우 즉시 오류가 발생합니다. mlx-community의 oQ3e-ngram-mtp 10-29는 어텐션 및 인덱서 프로젝션을 8-bit로 향상시켰습니다.
사용법
- NVIDIA GPU + ExLlamaV3: v1.6.6 또는 dev 브랜치를 설치한 후 hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.25bpw를 실행합니다.
- CPU + 대용량 메모리: unsloth GGUF는 해당 가이드에 따라 llama.cpp PR을 사용하여 실행합니다. ISTA-DASLab GSQ-RCO는 llama.cpp b11870 이상이 필요하며(10-29에 포함된 Delta 엔진도 이를 로드할 수 있음). Apple 칩은 mlx-community의 oQ 시리즈를 참조하세요.
리스크
- turboderp 모델 카드의 경고: 짧은 프롬프트에서 출력이 혼란스러운 현상은 대부분 모델 자체의 문제이며, 공식 리포지토리의 논의 #33로 링크되어 있습니다. 커뮤니티 사용자들은 비추론 모드에서 시스템 프롬프트가 있을 때 'hello'와 같은 짧은 인사말에 대해 약 47%의 응답이 혼란스럽게 나오는 현상을 보고했으며, 이는 공식 API에서도 재현됩니다. 해당 논의는 여전히 open 상태이며 공식 확인은 이루어지지 않았습니다.
- 모든 버전은 커뮤니티 양자화이며, 각 버전의 품질 비교는 저자의 자체 테스트에 기반합니다. 30일간의 총 다운로드 수는 단지 관심도를 나타냅니다.