纯 C 写的本地推理引擎，专门跑超大的混合专家（MoE）模型：每个 token 都要用的部分（注意力、共享专家、词嵌入）常驻内存，被路由选中的专家按需从硬盘读取，并用缓存记住你常用的专家；不需要显卡，有显卡时把最热的专家和稠密层放上去。
星数 46561（+675 / 24h）
理由
- 作者的出发点：MoE 模型在硬盘上很大、每个 token 实际用到的很小，以 GLM-5.2 为例总参数 744B、每个 token 约用 40B，所以模型不必塞进显存，只要“放对地方”；作者强调默认策略不会悄悄改变模型精度或路由，内存少只影响速度
- README 列出 13 个引擎：语言模型有 GLM-5.2/5.3、Kimi K3、DeepSeek V4 / V4.1 Flash、MiMo-V2.6、Qwen3.6 / Qwen3.8 等，另有文生图的 Qwen-Image-2.1 和只做判断题的决策模型；也能直接读已发布的 GGUF 文件，CPU、Vulkan（任何显卡，含核显）、CUDA 都支持
- coli serve 同时提供 OpenAI 兼容和 Anthropic 兼容接口（Claude Code 可以直接接）、工具调用、图片输入和文生图接口；自带网页仪表盘，可以看到每个专家何时被激活；每个模型的速度都标了测试机器（作者自测）
用法
- 最低 8 GB 内存（16 GB 以上更好）、最小的模型要 22 GB 硬盘空间，显卡可选；Windows 下载 ZIP 后双击 START-HERE.bat，Linux / macOS 克隆仓库后运行 ./start-here.sh
- 安装程序会检测内存、硬盘、CPU 和显卡并推荐合适的模型，自动编译或下载引擎、可断点续传下载模型，然后打开 http://127.0.0.1:8000/ ；--list 看每个模型能否在本机运行，--model 指定模型，--backend vulkan / cuda / cpu 指定后端
- 其他程序接入：OpenAI base URL 用 http://127.0.0.1:8000/v1，Anthropic base URL 用 http://127.0.0.1:8000；也可以让 AI 助手按 docs/AI_SETUP.md 代为安装，或用 coli mcp 提供的 MCP 工具
风险
- 大模型的速度由硬盘决定，作者给出的数字多在每秒 0.05 到几个 token 之间，最大的 Kimi K3 约 9.4 秒一个 token，更适合不着急的任务；大模型下载动辄数百 GB，要快的 NVMe 盘
- 引擎许可证 Apache-2.0，但模型各有许可：README 标明 Qwen-Image-2.1 为非商业许可，Muse Spark Open 受 Meta 许可协议约束；所有速度数字为作者在列出的机器上测得