ashhart/TensorFold

TensorFold 是用 Zig 写的推理引擎,直接读取模型权重、分词并调用 Metal 或 CUDA 内核,Mac 上用 Homebrew 安装,Linux 上用发布包,提供本地服务接口。README 的模型表按机器写明了每个模型在哪些硬件上核对过,例如 Qwen3.5-2B 在 M5 Max 和 GB10 上、Qwen3.8-27B 在 M5 Max 和 M3 Ultra 上。还有实验功能 Living Weights:在运行中把新事实写进模型自己的权重,可一键回滚。

TensorFold 是用 Zig 写的推理引擎,直接读取模型权重、分词并调用 Metal 或 CUDA 内核,Mac 上用 Homebrew 安装,Linux 上用发布包,提供本地服务接口。README 的模型表按机器写明了每个模型在哪些硬件上核对过,例如 Qwen3.5-2B 在 M5 Max 和 GB10 上、Qwen3.8-27B 在 M5 Max 和 M3 Ultra 上。还有实验功能 Living Weights:在运行中把新事实写进模型自己的权重,可一键回滚。

为什么重要 一个二进制直接读权重、跑 Metal 或 CUDA 内核,部署时不用配 Python 和 MLX 环境。

星数 1942(+54 / 24h)

理由

  • 24 小时新增 54 星(只代表关注度)
  • README 区分了已核对和只有代码、没有运行记录的硬件,没跑过的不写成支持

用法

  • Mac:brew install ashhart/tensorfold/tensorfold,再用 tensorfold pull 下载 README 里固定版本的模型、tensorfold serve 启动

风险

  • Linux 需要 NVIDIA R580 以上驱动(CUDA 13),旧驱动启动时会被拒绝
  • Living Weights 是实验功能,作者写明相关事实会互相干扰,学到几十条以后召回下降

打开

Trendshift(GitHub Trending 快照)

浏览最新 AI 动态