local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE

Этот репозиторий содержит пакеты среды выполнения DeepSeek-V4.1-Flash-1017 для Flare (открытого Rust-рантайма локального вывода от NVIDIA). Каждая версия включает предварительно обработанные веса, скомпилированные ядра, захваченные графы выполнения и метаданные подписи для тензорного параллелизма на четырех картах. Поддерживается ввод текста и изображений, максимальная длина запроса составляет 1,048,576 токенов, интерфейс совместим с OpenAI. Доступны две версии для платформ: gb202 и gb10, во второй версии масштабирование экспертов предварительно развернуто, чтобы избежать преобразований во время выполнения.

Этот репозиторий содержит пакеты среды выполнения DeepSeek-V4.1-Flash-1017 для Flare (открытого Rust-рантайма локального вывода от NVIDIA). Каждая версия включает предварительно обработанные веса, скомпилированные ядра, захваченные графы выполнения и метаданные подписи для тензорного параллелизма на четырех картах. Поддерживается ввод текста и изображений, максимальная длина запроса составляет 1,048,576 токенов, интерфейс совместим с OpenAI. Доступны две версии для платформ: gb202 и gb10, во второй версии масштабирование экспертов предварительно развернуто, чтобы избежать преобразований во время выполнения.

Почему это важно Ядра и графы выполнения предварительно скомпилированы, Python не требуется. На локальных системах DGX или многокартовых машинах можно напрямую запускать сервисы, совместимые с OpenAI.

Рост рейтинга: 2 · Лайки: 18 · Загрузки: 0

Причины

  • Пакеты среды выполнения подписаны издателем, Flare проверяет подпись перед загрузкой

Использование

  • После установки Flare загрузите версию для соответствующей платформы и запустите ее; файлы одной версии должны находиться вместе, смешивание недопустимо

Риски

  • Transformers, vLLM, SGLang и llama.cpp не могут загружать этот формат
  • Требуется четыре карты или четыре устройства

Открыть

Hugging Face

Открыть последние новости ИИ