TensorFold 是用 Zig 写的推理引擎,直接读取模型权重、分词并调用 Metal 或 CUDA 内核,Mac 上用 Homebrew 安装,Linux 上用发布包,提供本地服务接口。README 的模型表按机器写明了每个模型在哪些硬件上核对过,例如 Qwen3.5-2B 在 M5 Max 和 GB10 上、Qwen3.8-27B 在 M5 Max 和 M3 Ultra 上。还有实验功能 Living Weights:在运行中把新事实写进模型自己的权重,可一键回滚。
为什么重要 一个二进制直接读权重、跑 Metal 或 CUDA 内核,部署时不用配 Python 和 MLX 环境。
星数 1942(+54 / 24h)
理由
- 24 小时新增 54 星(只代表关注度)
- README 区分了已核对和只有代码、没有运行记录的硬件,没跑过的不写成支持
用法
- Mac:brew install ashhart/tensorfold/tensorfold,再用 tensorfold pull 下载 README 里固定版本的模型、tensorfold serve 启动
风险
- Linux 需要 NVIDIA R580 以上驱动(CUDA 13),旧驱动启动时会被拒绝
- Living Weights 是实验功能,作者写明相关事实会互相干扰,学到几十条以后召回下降