Инструмент локального вывода на базе llama.cpp: выгружает экспертов MoE-моделей, не помещающихся в оперативную память или VRAM, на SSD для чтения по требованию, работает со стандартными файлами GGUF, предоставляет браузерный чат-интерфейс и интерфейс, совместимый с OpenAI; подход схож с colibri, который рекомендуется в первую очередь, но на данный момент поддерживаются только две модели.
Звёзды 259 (+32 / 24 ч)
Обоснование
- Протестированы две версии в формате GGUF, созданные сообществом: DeepSeek-V4.1-Flash-1017 и Muse-Spark-Open; автор сравнил скорость предзаполнения и генерации с оригинальным llama.cpp и colibri на четырёх устройствах: MacBook Pro (M5 Max), RTX 5060 Ti, RTX 5090 и DGX Spark, а также опубликовал методику измерений
- Не требуется настройка параметров памяти; программа автоматически адаптируется к доступному объёму памяти; при первом запуске выполняется измерение производительности устройства
Использование
- Для macOS на Apple Silicon или Linux с видеокартами NVIDIA: curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh (компиляция из исходного кода занимает от 2 до 12 минут, sudo не требуется)
- inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF для чата в терминале; inferssd serve -hf … для запуска веб-интерфейса и интерфейса http://127.0.0.1:8080/v1; параметр --model-dir позволяет указать диск для хранения моделей
Риски
- При первом запуске необходимо загрузить файлы модели объёмом около 470 ГиБ; для Linux требуются набор инструментов CUDA, заголовочные файлы liburing и systemd с включённым cgroup v2; поддержка Windows находится в разработке, готовые сборки отсутствуют
- Сравнительные данные получены автором самостоятельно; файлы моделей являются версиями, конвертированными сообществом, и лицензии на веса определяются соответствующими издателями; лицензия Apache-2.0, репозиторий создан 22 10