llama.cpp 기반의 로컬 추론 도구: 메모리 또는 VRAM을 초과하는 MoE 모델의 전문가(Expert)를 SSD에 저장하고 필요 시 읽어오며, 표준 GGUF 파일을 사용하여 실행합니다. 브라우저 기반 채팅 인터페이스와 OpenAI 호환 인터페이스를 제공하며, 가장 먼저 추천된 colibri와 유사한 접근 방식을 취하지만 현재는 두 개의 모델만 지원합니다.
스타 수 259 (+32 / 24시간)
이유
- 현재 테스트된 모델은 DeepSeek-V4.1-Flash-1017 및 Muse-Spark-Open 두 가지 커뮤니티 GGUF 변환 버전입니다. 저자는 MacBook Pro(M5 Max), RTX 5060 Ti, RTX 5090, DGX Spark 네 대의 기기에서 원본 llama.cpp 및 colibri와 비교하여 프리필(Prefill) 및 생성 속도를 측정했으며, 측정 방법을 공개했습니다.
- 메모리 매개변수를 설정할 필요가 없으며, 프로그램이 가용 메모리에 따라 자동으로 조정됩니다. 첫 실행 시 머신 성능을 측정합니다.
사용법
- Apple Silicon macOS 또는 NVIDIA GPU가 장착된 Linux: curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh (소스 코드에서 컴파일, 약 2~12분 소요, sudo 불필요)
- inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF 명령으로 터미널에서 채팅 가능; inferssd serve -hf … 명령으로 웹 인터페이스 및 http://127.0.0.1:8080/v1 인터페이스 시작; --model-dir 옵션으로 모델 저장 위치 지정
리스크
- 첫 실행 시 약 470 GiB의 모델 파일을 다운로드해야 합니다. Linux에서는 CUDA 툴킷, liburing 헤더 파일 및 cgroup v2가 활성화된 systemd가 필요하며, Windows는 아직 개발 중이고 사전 컴파일된 패키지가 없습니다.
- 비교 수치는 저자의 자체 테스트 결과입니다. 모델 파일은 커뮤니티 변환 버전이며, 가중치 라이선스는 각 배포 주체의 기준에 따릅니다. 라이선스는 Apache-2.0이며, 저장소는 10월 22일에 생성되었습니다.