hyperionaidev/smolmaxxing

smolmaxxing 是一组 llama.cpp 补丁:针对 Cortex-A55 和苹果 A7 写了 1 位、2 位和三值格式的内核,删掉词表里很少用的输出行省内存,混合专家模型只把常用专家留在内存、其余从闪存读取并预取下一层。作者称小米电视盒子能以每秒 5.1 个 token 跑 16B 的 Ling-mini-2.0,2022 年的一加手机能跑 Qwen3-Next-80B-A3B;仓库附 165 次实验的完整记录,包括失败的尝试。

smolmaxxing 是一组 llama.cpp 补丁:针对 Cortex-A55 和苹果 A7 写了 1 位、2 位和三值格式的内核,删掉词表里很少用的输出行省内存,混合专家模型只把常用专家留在内存、其余从闪存读取并预取下一层。作者称小米电视盒子能以每秒 5.1 个 token 跑 16B 的 Ling-mini-2.0,2022 年的一加手机能跑 Qwen3-Next-80B-A3B;仓库附 165 次实验的完整记录,包括失败的尝试。

为什么重要 把混合专家模型的冷门专家放在闪存里按需读取,内存只有约 1GB 的设备也能跑上百亿参数的模型,数字都在设备上测得。

星数 699(+61 / 24h)

理由

  • 24 小时新增 61 星(只代表关注度);MIT 许可
  • 每台设备都给出芯片、可用内存、日常模型和最大模型在设备上测得的速度,并公开全部基准日志

用法

  • 电视盒子和其他 ARMv8.2 安卓设备按 docs/tv-box-setup.md 操作;8GB 内存的安卓手机可直接下载作者在抱脸上传的手机版 GGUF,按 docs/phone.md 运行

风险

  • 电视盒子和 iPad 的模型文件要用打过补丁的 llama.cpp 才能加载;iPad 方案需要已越狱的 iOS 12 设备
  • 速度和质量数据都由作者在自己的设备上测得

打开

GitHub

浏览最新 AI 动态