hyperionaidev/smolmaxxing

smolmaxxing은 llama.cpp용 패치 모음입니다. Cortex-A55 및 Apple A7을 위해 1비트, 2비트 및 3값 형식 커널을 작성했으며, 어휘 사전에서 거의 사용되지 않는 출력 행을 제거하여 메모리를 절약합니다. 혼합 전문가 모델(MoE)의 경우 자주 사용하는 전문가만 메모리에 유지하고 나머지는 플래시에서 읽어오며 다음 계층을 미리 가져옵니다. 저자는 Xiaomi TV 박스가 초당 5.1개의 토큰으로 16B 매개변수의 Ling-mini-2.0을 실행할 수 있으며, 2022년형 OnePlus 스마트폰은 Qwen3-Next-80B-A3B를 실행할 수 있다고 주장합니다. 저장소에는 실패한 시도를 포함하여 165회 실험의 전체 기록이 첨부되어 있습니다.

smolmaxxing은 llama.cpp용 패치 모음입니다. Cortex-A55 및 Apple A7을 위해 1비트, 2비트 및 3값 형식 커널을 작성했으며, 어휘 사전에서 거의 사용되지 않는 출력 행을 제거하여 메모리를 절약합니다. 혼합 전문가 모델(MoE)의 경우 자주 사용하는 전문가만 메모리에 유지하고 나머지는 플래시에서 읽어오며 다음 계층을 미리 가져옵니다. 저자는 Xiaomi TV 박스가 초당 5.1개의 토큰으로 16B 매개변수의 Ling-mini-2.0을 실행할 수 있으며, 2022년형 OnePlus 스마트폰은 Qwen3-Next-80B-A3B를 실행할 수 있다고 주장합니다. 저장소에는 실패한 시도를 포함하여 165회 실험의 전체 기록이 첨부되어 있습니다.

왜 중요한가 혼합 전문가 모델의 잘 사용하지 않는 전문가를 플래시에 저장하고 필요할 때 읽어오는 방식으로, 메모리가 약 1GB인 장치에서도 수백억 매개변수의 모델을 실행할 수 있습니다. 모든 수치는 실제 장치에서 측정되었습니다.

스타 수 699 (+61 / 24시간)

이유

  • 24시간 동안 스타 61개 증가(관심도만 반영); MIT 라이선스
  • 모든 장치에 대해 칩셋, 가용 메모리, 일상 모델 및 최대 모델의 실제 장치 측정 속도를 제공하며 모든 벤치마크 로그를 공개합니다

사용법

  • TV 박스 및 기타 ARMv8.2 Android 장치는 docs/tv-box-setup.md를 따르세요. 메모리 8GB인 Android 스마트폰은 저자가 Hugging Face에 업로드한 모바일용 GGUF를 직접 다운로드하여 docs/phone.md에 따라 실행할 수 있습니다

위험 요소

  • TV 박스 및 iPad의 모델 파일은 패치된 llama.cpp로만 로드할 수 있습니다. iPad 솔루션은 이미 탈옥된 iOS 12 장치가 필요합니다
  • 속도 및 품질 데이터는 모두 저자가 자신의 장치에서 측정했습니다

열기

GitHub

최신 AI 소식 보기