smolmaxxing — это набор патчей для llama.cpp: написаны ядра для форматов с 1 битами, 2 битами и тернарным представлением для Cortex-A55 и Apple A7, удалены редко используемые строки выходных данных из словаря для экономии памяти, а в моделях со смешанной системой экспертов (MoE) в оперативной памяти оставляются только часто используемые эксперты, остальные считываются из флеш-памяти с предвыборкой следующего слоя. По словам автора, телевизионная приставка Xiaomi может запускать модель Ling-mini-2.0 размером 16B со скоростью 5.1 токенов в секунду, а смартфон OnePlus 202022 года выпуска способен работать с Qwen3-Next-80B-A3B; репозиторий содержит полные записи 165 экспериментов, включая неудачные попытки.
Почему это важно Размещение редко используемых экспертов модели со смешанными экспертами (MoE) во флеш-памяти с чтением по требованию позволяет запускать модели с сотнями миллиардов параметров на устройствах, имеющих всего около 1 ГБ оперативной памяти; все показатели получены непосредственно на устройствах.
Количество звёзд: 699 (+61 / 24 ч)
Обоснование
- За 24 часов добавилось 61 звёзд (отражает только уровень внимания); лицензия MIT
- Для каждого устройства указаны чип, доступная память, скорость работы повседневных и максимальных моделей, измеренная непосредственно на устройстве, а также опубликованы все журналы бенчмарков
Использование
- Для ТВ-приставок и других устройств Android на архитектуре ARMv8.2 следуйте инструкциям в docs/tv-box-setup.md; для смартфонов Android с 8 ГБ памяти можно напрямую скачать мобильную версию GGUF, загруженную автором на FacePunch, и запустить её согласно docs/phone.md
Риски
- Файлы моделей для ТВ-приставок и iPad требуют загрузки с помощью пропатченной версии llama.cpp; решение для iPad требует устройства iOS 12 с выполненным джейлбрейком
- Данные о скорости и качестве получены автором на его собственных устройствах