TensorFold là một engine suy luận được viết bằng Zig, trực tiếp đọc trọng số mô hình, token hóa và gọi các kernel Metal hoặc CUDA. Trên Mac, cài đặt bằng Homebrew; trên Linux, sử dụng gói phát hành, cung cấp giao diện dịch vụ cục bộ. Bảng mô hình trong README ghi rõ từng mô hình đã được kiểm chứng trên những phần cứng nào, ví dụ: Qwen3.5-2B trên M5 Max và GB10, Qwen3.8-27B trên M5 Max và M3 Ultra. Ngoài ra còn có tính năng thử nghiệm Living Weights: ghi các sự kiện mới vào trọng số của chính mô hình trong quá trình chạy, có thể hoàn tác chỉ với một cú nhấp chuột.
Tại sao quan trọng Một binary duy nhất trực tiếp đọc trọng số và chạy các kernel Metal hoặc CUDA, không cần cấu hình môi trường Python và MLX khi triển khai.
Số sao 1942 (+54 / 24h)
Lý do
- Tăng 54 sao trong 24 giờ (chỉ phản ánh mức độ quan tâm)
- README phân biệt rõ giữa các phần cứng đã được kiểm chứng và những phần cứng chỉ có mã nguồn nhưng chưa có nhật ký chạy thực tế; những phần cứng chưa chạy thử không được liệt kê là được hỗ trợ
Cách sử dụng
- Mac: chạy
brew install ashhart/tensorfold/tensorfold, sau đó dùngtensorfold pullđể tải các mô hình phiên bản cố định được liệt kê trong README, rồi dùngtensorfold serveđể khởi động
Rủi ro
- Linux yêu cầu driver NVIDIA R580 trở lên (CUDA 13); các driver cũ sẽ bị từ chối khi khởi động
- Living Weights là tính năng thử nghiệm, tác giả ghi rõ rằng các sự kiện liên quan có thể gây nhiễu lẫn nhau, và khả năng truy xuất sẽ giảm sau khi học vài chục sự kiện