Локальный движок инференса, написанный на чистом C и предназначенный для запуска сверхбольших моделей со смешанной архитектурой экспертов (MoE): части, используемые для каждого токена (внимание, общие эксперты, эмбеддинги слов), постоянно находятся в оперативной памяти, а выбранные маршрутизацией эксперты подгружаются с диска по требованию; кэш запоминает часто используемые вами эксперты. Графический процессор не требуется, но при его наличии самые «горячие» эксперты и плотные слои размещаются на нем.
Количество звезд 46561 (+675 / 24 ч)
Причины
- Исходная идея автора: модели MoE занимают много места на диске, но для каждого токена используется лишь малая их часть. Например, в GLM-5.2 общее количество параметров составляет 744 млрд, а на один токен приходится примерно 40 млрд параметров. Поэтому модель не нужно целиком загружать в видеопамять — достаточно «правильно разместить» ее компоненты. Автор подчеркивает, что стратегия по умолчанию не изменяет незаметно точность модели или маршрутизацию; нехватка памяти влияет только на скорость.
- В README перечислено 13 движков: среди языковых моделей есть GLM-5.2/5.3, Kimi K3, DeepSeek V4 / V4.1 Flash, MiMo-V2.6, Qwen3.6 / Qwen3.8 и другие. Также поддерживаются модели генерации изображений по тексту (Qwen-Image-2.1) и модели принятия решений для задач классификации. Можно напрямую читать опубликованные файлы GGUF; поддерживаются CPU, Vulkan (любые видеокарты, включая встроенные) и CUDA.
- Команда
coli serveпредоставляет интерфейсы, совместимые с OpenAI и Anthropic (Claude Code можно подключить напрямую), поддерживает вызов инструментов, ввод изображений и генерацию изображений по тексту. Встроенная веб-панель управления позволяет видеть, когда активируется каждый эксперт. Скорость работы каждой модели указана для тестовой машины (измерено автором).
Использование
- Минимальные требования: 8 ГБ оперативной памяти (лучше от 16 ГБ), для самой маленькой модели требуется 22 ГБ дискового пространства. Графический процессор опционален. В Windows скачайте ZIP-архив и запустите START-HERE.bat двойным щелчком; в Linux / macOS клонируйте репозиторий и выполните ./start-here.sh.
- Установщик проверяет объем памяти, дисковое пространство, процессор и видеокарту, рекомендует подходящую модель, автоматически компилирует или скачивает движок, поддерживает докачку моделей с места обрыва, а затем открывает http://127.0.0.1:8000/. Флаг
--listпоказывает, можно ли запустить каждую модель на вашем устройстве; флаг--modelпозволяет указать модель; флаг--backend vulkan / cuda / cpuзадает бэкенд. - Подключение других программ: для OpenAI используйте базовый URL http://127.0.0.1:8000/v1，Anthropic, для Anthropic — базовый URL http://127.0.0.1:8000；也可以让. ИИ-помощник может выполнить установку за вас согласно инструкции docs/AI_SETUP.md, либо можно использовать MCP-инструменты, предоставляемые командой
coli mcp.
Риски
- Скорость работы больших моделей ограничена скоростью диска. Приведенные автором показатели обычно составляют от 0.05 до нескольких токенов в секунду; для самой большой модели Kimi K3 время обработки одного токена составляет около 9.4 секунд, что подходит для задач без жестких требований к скорости. Загрузка больших моделей может занимать сотни гигабайт, поэтому необходим быстрый NVMe-накопитель.
- Лицензия движка — Apache-2.0, но у каждой модели своя лицензия: в README указано, что Qwen-Image-2.1 распространяется под некоммерческой лицензией, а Muse Spark Open регулируется лицензионным соглашением Meta. Все показатели скорости получены автором на указанных тестовых машинах.