ashhart/TensorFold

TensorFold は Zig で書かれた推論エンジンで、モデルの重みを直接読み込み、トークン化を行い、Metal または CUDA カーネルを呼び出します。Mac では Homebrew を通じてインストールし、Linux ではリリースパッケージを使用します。ローカルサービスインターフェースを提供しています。README のモデル表では、各モデルがどのハードウェアで検証済みかがマシンごとに明記されています。例えば、Qwen3.5-2B は M5 Max と GB10 で、Qwen3.8-27B は M5 Max と M3 Ultra で検証済みです。また、実験的な機能として「Living Weights」があります。これは実行中に新しい事実をモデル自身の重みに書き込むもので、ワンクリックでロールバック可能です。

TensorFold は Zig で書かれた推論エンジンで、モデルの重みを直接読み込み、トークン化を行い、Metal または CUDA カーネルを呼び出します。Mac では Homebrew を通じてインストールし、Linux ではリリースパッケージを使用します。ローカルサービスインターフェースを提供しています。README のモデル表では、各モデルがどのハードウェアで検証済みかがマシンごとに明記されています。例えば、Qwen3.5-2B は M5 Max と GB10 で、Qwen3.8-27B は M5 Max と M3 Ultra で検証済みです。また、実験的な機能として「Living Weights」があります。これは実行中に新しい事実をモデル自身の重みに書き込むもので、ワンクリックでロールバック可能です。

なぜ重要か 単一のバイナリが重みを直接読み込み、Metal または CUDA カーネルを実行するため、デプロイ時に Python や MLX 環境を設定する必要がありません。

スター数 1942(+54 / 24時間)

理由

  • 24 時間で新たに 54 スター増加(注目度のみを示す)
  • README では、検証済みと、コードのみ存在し実行記録がないハードウェアを区別しており、実行されていないものはサポート対象として記載していません

使い方

  • Mac:brew install ashhart/tensorfold/tensorfold を実行し、その後 tensorfold pull で README に固定されたバージョンのモデルをダウンロード、tensorfold serve で起動します

リスク

  • Linux では NVIDIA R580 以上のドライバ(CUDA 13)が必要であり、古いドライバでは起動時に拒否されます
  • Living Weights は実験的な機能であり、作者は関連する事実が互いに干渉し、数十件学習するとリコールが低下すると明記しています

開く

Trendshift(GitHub Trending 快照)

最新の AI ニュースを見る