순수 C로 작성된 로컬 추론 엔진으로, 초거대 혼합 전문가(MoE) 모델 실행에 특화되어 있습니다. 모든 토큰에서 사용되는 부분(어텐션, 공유 전문가, 워드 임베딩)은 메모리에 상주하며, 라우팅으로 선택된 전문가는 필요 시 디스크에서 로드하고 캐시를 통해 자주 사용하는 전문가를 기억합니다. GPU가 없어도 작동하며, GPU가 있을 경우 가장 자주 사용되는 전문가와 밀집 레이어를 GPU에 배치합니다.
별 수 46561 (+675 / 24h)
이유
- 저자의 관점: MoE 모델은 디스크 용량은 크지만 실제 각 토큰에서 사용되는 부분은 작습니다. 예를 들어 GLM-5.2의 경우 총 파라미터는 744B이지만 각 토큰당 약 40B만 사용하므로, 모델을 VRAM에 모두 적재할 필요 없이 '적절한 위치'에 배치하는 것이 핵심입니다. 저자는 기본 전략이 모델의 정확도나 라우팅을 몰래 변경하지 않으며, 메모리 부족은 속도에만 영향을 미친다고 강조합니다.
- README에는 13개의 엔진이 나열되어 있습니다. 언어 모델로는 GLM-5.2/5.3, Kimi K3, DeepSeek V4 / V4.1 Flash, MiMo-V2.6, Qwen3.6 / Qwen3.8 등이 있으며, 텍스트-이미지 생성용 Qwen-Image-2.1와 판단 전용 의사결정 모델도 포함됩니다. 또한 공개된 GGUF 파일을 직접 읽을 수 있으며, CPU, Vulkan(모든 GPU, 내장 그래픽 포함), CUDA를 모두 지원합니다.
- coli serve는 OpenAI 호환 및 Anthropic 호환 인터페이스(Claude Code 직접 연결 가능), 도구 호출, 이미지 입력 및 텍스트-이미지 생성 인터페이스를 동시에 제공합니다. 내장된 웹 대시보드를 통해 각 전문가가 언제 활성화되는지 확인할 수 있으며, 각 모델의 속도는 테스트 머신(저자 자체 테스트)이 명시되어 있습니다.
사용법
- 최소 8 GB 메모리(16 GB 이상 권장), 최소 모델은 22 GB 디스크 공간이 필요하며 GPU는 선택 사항입니다. Windows는 ZIP 다운로드 후 START-HERE.bat을 더블 클릭하고, Linux / macOS는 저장소를 클론한 후 ./start-here.sh를 실행합니다.
- 설치 프로그램은 메모리, 디스크, CPU 및 GPU를 감지하여 적절한 모델을 추천하며, 엔진을 자동 컴파일하거나 다운로드하고 모델 다운로드를 중단 후 재개할 수 있으며, 이후 http://127.0.0.1:8000/을(를) 엽니다. --list로 각 모델이 로컬에서 실행 가능한지 확인하고, --model로 모델을 지정하며, --backend vulkan / cuda / cpu로 백엔드를 지정합니다.
- 다른 프로그램 연동: OpenAI base URL은 http://127.0.0.1:8000/v1，Anthropic, Anthropic base URL은 http://127.0.0.1:8000；也可以让을(를) 사용하며, AI 어시스턴트는 docs/AI_SETUP.md를 통해 설치를 대행하거나 coli mcp가 제공하는 MCP 도구를 사용할 수 있습니다.
리스크
- 대형 모델의 속도는 디스크에 의해 결정됩니다. 저자가 제시한 수치는 대부분 초당 0.05에서 몇 토큰 사이이며, 가장 큰 Kimi K3는 토큰당 약 9.4초가 소요되어 급하지 않은 작업에 더 적합합니다. 대형 모델은 수백 GB 단위로 다운로드되므로 빠른 NVMe 디스크가 필요합니다.
- 엔진 라이선스는 Apache-2.0이지만 모델마다 라이선스가 다릅니다. README에 따르면 Qwen-Image-2.1는 비상업적 라이선스이며, Muse Spark Open은 Meta 라이선스 계약의 적용을 받습니다. 모든 속도 수치는 저자가 명시한 머신에서 측정된 것입니다.