llama-modchip은 ggml/llama.cpp 커널 패치, 양자화 트랜스코더 및 실행 도구 모음으로, 희소 MoE 모델을 시스템 메모리에 완전히 로드하여 CPU만으로 추론하는 것을 목표로 합니다. 저자는 Unsloth의 DeepSeek-V4-Flash UD-IQ1_S 버전을 56.56 GiB(약 1.71 bpw)로 추가 압축했으며, 64GB 메모리와 16코어 Zen 5 머신에서 프리필 약 44 tok/s, 생성 9.1–14.7 tok/s를 달성하고 256K 컨텍스트를 지원한다고 주장합니다. 또한 30B급 MoE(예: Nemotron-3.5-30B-A3B)의 경우 16–32GB 메모리를 갖춘 노트북에서 25–60 tok/s의 성능을 보인다고 밝혔습니다. 자체 추측 초안 생성 및 KV 스냅샷 복원 기능을 제공하여 긴 프롬프트를 사용하는 에이전트 세션의 속도를 높입니다.
왜 중요한가 대형 MoE 모델이 반드시 GPU를 필요로 하는 것은 아닙니다: 비활성 전문가(expert)를 메모리에 스트리밍 방식으로 읽어들이면 일반 데스크톱 PC에서도 로컬 배포를 시도할 수 있습니다.
스타 수 785 (+287 / 24h)
이유
- 24시간 동안 스타 287개 증가(관심도만을 나타냄)
- README에 각 텐서 유형별 양자화 형식, 메모리 사용량 및 재실행 가능한 품질 테스트 스크립트가 명시되어 있음
사용법
- 저장소를 클론한 후 ./modchip chat을 실행하면 자동으로 구성됩니다. 모델이 커스텀 텐서 유형을 사용하므로 원본 llama.cpp, Ollama, LM Studio에서는 읽을 수 없으며 저장소에 포함된 전용 프로그램을 사용해야 합니다
리스크
- 속도 및 품질 수치는 모두 저자의 자체 테스트 결과입니다. DeepSeek 버전의 품질 점수는 이미 1비트로 압축된 UD-IQ1_S 버전과 비교한 것이며, 원본 가중치와 비교한 것이 아닙니다
- 초저비트 양자화가 복잡한 작업에 미치는 영향은 불명확합니다. 저장소는 10월 29일에 생성되었습니다