TensorFold は Zig で書かれた推論エンジンで、モデルの重みを直接読み込み、トークン化を行い、Metal または CUDA カーネルを呼び出します。Mac では Homebrew を通じてインストールし、Linux ではリリースパッケージを使用します。ローカルサービスインターフェースを提供しています。README のモデル表では、各モデルがどのハードウェアで検証済みかがマシンごとに明記されています。例えば、Qwen3.5-2B は M5 Max と GB10 で、Qwen3.8-27B は M5 Max と M3 Ultra で検証済みです。また、実験的な機能として「Living Weights」があります。これは実行中に新しい事実をモデル自身の重みに書き込むもので、ワンクリックでロールバック可能です。
なぜ重要か 単一のバイナリが重みを直接読み込み、Metal または CUDA カーネルを実行するため、デプロイ時に Python や MLX 環境を設定する必要がありません。
スター数 1942(+54 / 24時間)
理由
- 24 時間で新たに 54 スター増加(注目度のみを示す)
- README では、検証済みと、コードのみ存在し実行記録がないハードウェアを区別しており、実行されていないものはサポート対象として記載していません
使い方
- Mac:
brew install ashhart/tensorfold/tensorfoldを実行し、その後tensorfold pullで README に固定されたバージョンのモデルをダウンロード、tensorfold serveで起動します
リスク
- Linux では NVIDIA R580 以上のドライバ(CUDA 13)が必要であり、古いドライバでは起動時に拒否されます
- Living Weights は実験的な機能であり、作者は関連する事実が互いに干渉し、数十件学習するとリコールが低下すると明記しています