hyperionaidev/smolmaxxing

smolmaxxing — это набор патчей для llama.cpp: написаны ядра для форматов с точностью 1 бит, 2 бит и тернарного формата для процессоров Cortex-A55 и Apple A7, удалены редко используемые строки вывода из словаря для экономии памяти, а в моделях со смешанной архитектурой экспертов (MoE) в памяти остаются только часто используемые эксперты, остальные считываются из флеш-памяти с предвыборкой следующего слоя. По словам автора, приставка Xiaomi TV Box может запускать модель Ling-mini-2.0 размером 16B со скоростью 5.1 токенов в секунду, а смартфон OnePlus 202022 года выпуска способен работать с моделью Qwen3-Next-80B-A3B; репозиторий содержит полные записи 165 экспериментов, включая неудачные попытки.

smolmaxxing — это набор патчей для llama.cpp: написаны ядра для форматов с 1 битами, 2 битами и тернарным представлением для Cortex-A55 и Apple A7, удалены редко используемые строки выходных данных из словаря для экономии памяти, а в моделях со смешанной системой экспертов (MoE) в оперативной памяти оставляются только часто используемые эксперты, остальные считываются из флеш-памяти с предвыборкой следующего слоя. По словам автора, телевизионная приставка Xiaomi может запускать модель Ling-mini-2.0 размером 16B со скоростью 5.1 токенов в секунду, а смартфон OnePlus 202022 года выпуска способен работать с Qwen3-Next-80B-A3B; репозиторий содержит полные записи 165 экспериментов, включая неудачные попытки.

Почему это важно Размещение редко используемых экспертов модели со смешанными экспертами (MoE) во флеш-памяти с чтением по требованию позволяет запускать модели с сотнями миллиардов параметров на устройствах, имеющих всего около 1 ГБ оперативной памяти; все показатели получены непосредственно на устройствах.

Количество звёзд: 699 (+61 / 24 ч)

Обоснование

  • За 24 часов добавилось 61 звёзд (отражает только уровень внимания); лицензия MIT
  • Для каждого устройства указаны чип, доступная память, скорость работы повседневных и максимальных моделей, измеренная непосредственно на устройстве, а также опубликованы все журналы бенчмарков

Использование

  • Для ТВ-приставок и других устройств Android на архитектуре ARMv8.2 следуйте инструкциям в docs/tv-box-setup.md; для смартфонов Android с 8 ГБ памяти можно напрямую скачать мобильную версию GGUF, загруженную автором на FacePunch, и запустить её согласно docs/phone.md

Риски

  • Файлы моделей для ТВ-приставок и iPad требуют загрузки с помощью пропатченной версии llama.cpp; решение для iPad требует устройства iOS 12 с выполненным джейлбрейком
  • Данные о скорости и качестве получены автором на его собственных устройствах

Открыть

GitHub

Открыть последние новости ИИ