基于 llama.cpp 的本地推理工具：把超出内存或显存的 MoE 模型的专家放在 SSD 上按需读取，用标准 GGUF 文件运行，提供浏览器聊天界面和 OpenAI 兼容接口；思路和首推的 colibri 相近，但目前只支持两个模型。
星数 259（+32 / 24h）
理由
- 目前测过的是 DeepSeek-V4.1-Flash-1017 和 Muse-Spark-Open 两个社区 GGUF 转换版；作者在 MacBook Pro（M5 Max）、RTX 5060 Ti、RTX 5090、DGX Spark 四台机器上和原版 llama.cpp、colibri 对比了预填充与生成速度，并公开了测量方法
- 不用设置内存参数，程序按可用内存自动调整；首次运行会测量机器性能
用法
- Apple Silicon macOS 或带 NVIDIA 显卡的 Linux：curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh（从源码编译，约 2 到 12 分钟，不需要 sudo）
- inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF 在终端聊天；inferssd serve -hf … 启动网页界面和 http://127.0.0.1:8080/v1 接口；--model-dir 指定放模型的盘
风险
- 首次运行要下载约 470 GiB 模型文件；Linux 需要 CUDA 工具包、liburing 头文件和启用 cgroup v2 的 systemd，Windows 还在开发中，没有预编译包
- 对比数字为作者自测；模型文件是社区转换版，权重许可以各自发布方为准；许可证 Apache-2.0，仓库 10 月 22 日建