smolmaxxing は llama.cpp のパッチ集です。Cortex-A55 および Apple A7 向けに 1 ビット、2 ビット、および三値形式のカーネルを実装し、語彙表でほとんど使用されない出力行を削除してメモリを節約します。混合専門家モデルでは、よく使われる専門家のみをメモリに保持し、残りはフラッシュメモリから読み込み、次の層をプリフェッチします。作者によると、Xiaomi TV Box では Ling-mini-2.0 の 16B モデルを毎秒 5.1 トークンの速度で実行でき、2022 年製の一加スマートフォンでは Qwen3-Next-80B-A3B を実行可能です。リポジトリには、失敗した試みも含めた 165 回の実験の完全な記録が添付されています。
なぜ重要か 混合専門家モデルのマイナーな専門家をフラッシュメモリに置き、必要に応じて読み込むことで、メモリが約 1GB しかないデバイスでも数百億パラメータのモデルを実行できます。すべての数値はデバイス上で測定されています。
スター数 699(+61 / 24h)
理由
- 24 時間で新たに 61 スター増加(注目度のみを示す);MIT ライセンス
- 各デバイスについて、チップ、利用可能なメモリ、日常使用モデルおよび最大モデルのデバイス上での速度を提示し、すべてのベンチマークログを公開している
使い方
- TV Box およびその他の ARMv8.2 Android デバイスは docs/tv-box-setup.md に従ってセットアップしてください。8GB メモリを搭載した Android スマートフォンでは、作者が Hugging Face にアップロードしたモバイル版 GGUF を直接ダウンロードし、docs/phone.md に従って実行できます
リスク
- TV Box および iPad のモデルファイルは、パッチを適用した llama.cpp でしか読み込めません。iPad 向けのソリューションには、脱獄済みの iOS 12 デバイスが必要です
- 速度および品質データはすべて、作者自身のデバイスで測定されたものです