llama-modchip — это набор патчей ядра ggml/llama.cpp, квантовщиков-транскодеров и инструментов запуска, цель которых — полностью разместить разреженные модели MoE в системной памяти и выполнять инференс исключительно на CPU. Автор утверждает, что версия DeepSeek-V4-Flash UD-IQ1_S от Unsloth была дополнительно сжата до 56.56 ГиБ (примерно 1.71 бит на вес), обеспечивая на машине с 64 ГБ памяти и 16 ядрами Zen 5 скорость предзаполнения около 44 ток/с и генерации 9.1–14.7 ток/с при поддержке контекста в 256K; для MoE уровня 30B (например, Nemotron-3.5-30B-A3B) на ноутбуках с памятью 16–32 ГБ автор заявляет скорость 25–60 ток/с. Также поддерживаются черновики само-спекуляции и восстановление снимков KV, что ускоряет агентные сессии с длинными промптами.
Почему это важно Большие модели MoE не обязательно требуют видеокарты: редкие эксперты могут храниться в памяти и загружаться потоково, что позволяет попробовать локальное развертывание даже на обычном настольном ПК.
Звёзды: 785 (+287 / 24 ч)
Причины
- За 24 часов добавилось 287 звёзд (отражает только уровень внимания)
- В README перечислены форматы квантования для каждого типа тензоров, потребление памяти и скрипты для воспроизводимого тестирования качества
Использование
- После клонирования репозитория запустите ./modchip chat для автоматической настройки; модель использует пользовательские типы тензоров, которые не поддерживаются стандартными версиями llama.cpp, Ollama и LM Studio, поэтому необходимо использовать программы из репозитория
Риски
- Показатели скорости и качества получены автором самостоятельно; оценки качества для версии DeepSeek сравниваются с уже сильно сжатой UD-IQ1_S (более 1 бит на вес), а не с исходными весами
- Влияние сверхнизкобитного квантования на сложные задачи неизвестно; репозиторий создан 29 10