Этот репозиторий содержит пакеты среды выполнения DeepSeek-V4.1-Flash-1017 для Flare (открытого Rust-рантайма локального вывода от NVIDIA). Каждая версия включает предварительно обработанные веса, скомпилированные ядра, захваченные графы выполнения и метаданные подписи для тензорного параллелизма на четырех картах. Поддерживается ввод текста и изображений, максимальная длина запроса составляет 1,048,576 токенов, интерфейс совместим с OpenAI. Доступны две версии для платформ: gb202 и gb10, во второй версии масштабирование экспертов предварительно развернуто, чтобы избежать преобразований во время выполнения.
Почему это важно Ядра и графы выполнения предварительно скомпилированы, Python не требуется. На локальных системах DGX или многокартовых машинах можно напрямую запускать сервисы, совместимые с OpenAI.
Рост рейтинга: 2 · Лайки: 18 · Загрузки: 0
Причины
- Пакеты среды выполнения подписаны издателем, Flare проверяет подпись перед загрузкой
Использование
- После установки Flare загрузите версию для соответствующей платформы и запустите ее; файлы одной версии должны находиться вместе, смешивание недопустимо
Риски
- Transformers, vLLM, SGLang и llama.cpp не могут загружать этот формат
- Требуется четыре карты или четыре устройства