TensorFold는 Zig로 작성된 추론 엔진으로, 모델 가중치를 직접 읽고 토큰화하며 Metal 또는 CUDA 커널을 호출합니다. Mac에서는 Homebrew를 통해 설치하고, Linux에서는 릴리스 패키지를 사용하며, 로컬 서비스 인터페이스를 제공합니다. README의 모델 표는 각 모델이 어떤 하드웨어에서 검증되었는지 기종별로 명시하고 있습니다. 예를 들어 Qwen3.5-2B는 M5 Max와 GB10에서, Qwen3.8-27B는 M5 Max와 M3 Ultra에서 검증되었습니다. 또한 실험적인 기능인 Living Weights도 있습니다. 이는 실행 중에 새로운 사실을 모델 자체의 가중치에 기록하는 기능으로, 원클릭으로 롤백할 수 있습니다.
왜 중요한가 단일 바이너리가 가중치를 직접 읽고 Metal 또는 CUDA 커널을 실행하므로, 배포 시 Python 및 MLX 환경을 구성할 필요가 없습니다.
스타 수 1942 (+54 / 24시간)
이유
- 24시간 동안 스타 54개 증가 (관심도만 반영)
- README에서 검증된 하드웨어와 코드만 존재하며 실행 기록이 없는 하드웨어를 구분하여, 실행하지 않은 하드웨어는 지원 목록에 포함하지 않음
사용법
- Mac: brew install ashhart/tensorfold/tensorfold를 실행한 후, tensorfold pull로 README에 고정된 버전의 모델을 다운로드하고 tensorfold serve로 서버를 시작
리스크
- Linux에서는 NVIDIA R580 이상의 드라이버(CUDA 13)가 필요하며, 구버전 드라이버에서는 시작 시 거부됨
- Living Weights는 실험적인 기능으로, 저자는 관련 사실들이 서로 간섭할 수 있으며 수십 개를 학습한 후 재현율(recall)이 저하된다고 명시함