ashhart/TensorFold

TensorFold는 Zig로 작성된 추론 엔진으로, 모델 가중치를 직접 읽고 토큰화하며 Metal 또는 CUDA 커널을 호출합니다. Mac에서는 Homebrew를 통해 설치하고, Linux에서는 릴리스 패키지를 사용하며, 로컬 서비스 인터페이스를 제공합니다. README의 모델 표는 각 모델이 어떤 하드웨어에서 검증되었는지 기종별로 명시하고 있습니다. 예를 들어 Qwen3.5-2B는 M5 Max와 GB10에서, Qwen3.8-27B는 M5 Max와 M3 Ultra에서 검증되었습니다. 또한 실험적인 기능인 Living Weights도 있습니다. 이는 실행 중에 새로운 사실을 모델 자체의 가중치에 기록하는 기능으로, 원클릭으로 롤백할 수 있습니다.

TensorFold는 Zig로 작성된 추론 엔진으로, 모델 가중치를 직접 읽고 토큰화하며 Metal 또는 CUDA 커널을 호출합니다. Mac에서는 Homebrew를 통해 설치하고, Linux에서는 릴리스 패키지를 사용하며, 로컬 서비스 인터페이스를 제공합니다. README의 모델 표는 각 모델이 어떤 하드웨어에서 검증되었는지 기종별로 명시하고 있습니다. 예를 들어 Qwen3.5-2B는 M5 Max와 GB10에서, Qwen3.8-27B는 M5 Max와 M3 Ultra에서 검증되었습니다. 또한 실험적인 기능인 Living Weights도 있습니다. 이는 실행 중에 새로운 사실을 모델 자체의 가중치에 기록하는 기능으로, 원클릭으로 롤백할 수 있습니다.

왜 중요한가 단일 바이너리가 가중치를 직접 읽고 Metal 또는 CUDA 커널을 실행하므로, 배포 시 Python 및 MLX 환경을 구성할 필요가 없습니다.

스타 수 1942 (+54 / 24시간)

이유

  • 24시간 동안 스타 54개 증가 (관심도만 반영)
  • README에서 검증된 하드웨어와 코드만 존재하며 실행 기록이 없는 하드웨어를 구분하여, 실행하지 않은 하드웨어는 지원 목록에 포함하지 않음

사용법

  • Mac: brew install ashhart/tensorfold/tensorfold를 실행한 후, tensorfold pull로 README에 고정된 버전의 모델을 다운로드하고 tensorfold serve로 서버를 시작

리스크

  • Linux에서는 NVIDIA R580 이상의 드라이버(CUDA 13)가 필요하며, 구버전 드라이버에서는 시작 시 거부됨
  • Living Weights는 실험적인 기능으로, 저자는 관련 사실들이 서로 간섭할 수 있으며 수십 개를 학습한 후 재현율(recall)이 저하된다고 명시함

열기

Trendshift(GitHub Trending 快照)

최신 AI 소식 보기