Предварительно упакованный V4.1-Flash-1017 для Flare — открытого Rust-рантайма инференса от NVIDIA: веса, скомпилированные CUDA-ядра и захваченные графы выполнения находятся в одном подписанном пакете, тензорное параллельное выполнение на 4 GPU напрямую запускает сервис, совместимый с OpenAI, с поддержкой мультимодальности (текст и изображения) и контекста в 1,048,576 токенов.
Upvotes 4 · Likes 16 · Downloads 0
Причины
- Два варианта в зависимости от аппаратного обеспечения: gb202 предназначен для одной машины с 4 видеокартами RTX PRO 6000 Blackwell 96 GB (около 515 ГБ), а gb10 — для 4 систем DGX Spark (около 490 ГБ).
- Не требуется Python, не требуется компиляция во время выполнения; подпись издателя проверяется перед загрузкой, автор указывает, что один пакет поддерживает до 32 параллельных потоков с адаптивной проверкой MTP.
- Карточка модели 10-27 обновлялась; 10-18 построена база данных.
Использование
- Выполните команду
hf download local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE --revision gb202 --include '\*.safetensors' 'publisher.json' --local-dir ./models, а затем запустите образghcr.io/local-inference-lab/flare:releaseс параметрамиrun /models/model.safetensors --gpus 0,1,2,3(полный список параметров см. в README веткиgb202). - Интерфейс доступен по пути
/v1, имя модели —DeepSeek-V4.1-Flash; пользователи DGX Spark должны использовать веткуgb10и устанавливатьflareчерез подписанные пакеты APT.
Риски
- Загрузка возможна только через Flare; Transformers, vLLM, SGLang и llama.cpp не поддерживают чтение модели; в примере с gb202 таблица Engram размещается в оперативной памяти, что требует не менее 256 ГиБ системной памяти.
- В карточке модели указано, что полная оценка точности не проводилась; модель упакована командой local-inference-lab, а не официально DeepSeek.