DeepSeek опубликовала исходный код фреймворка инференса DeepInfer, который поддерживает её собственные крупномасштабные онлайн-сервисы. Данная версия предоставляет только офлайн (пакетный) инференс и в настоящее время поддерживает DeepSeek-V4.1-Flash.
Количество звёзд 23403
Уверенность: высокая (80) · Время события 2026-10-15
Обоснование
- Репозиторий создан 10-16 (недавняя активность, а не событие, произошедшее 24 часов назад); источник GitHub deepseek-ai не удалось получить при предыдущем сканировании, в текущем цикле он впервые попал в список кандидатов.
- Официально заявлено, что это тот же самый фреймворк, который используется для онлайн-сервисов: собственные ядра FlashMLA, DeepGEMM, DeepEP и другие, параллелизм Attention DP / CP и MoE EP + EPLB, спекулятивное декодирование DSpark с проверкой на основе уровня уверенности, асинхронное планирование.
- Поддерживается инференс с инвариантностью к размеру пакета (batch-invariant) и детерминированная выборка: одинаковые входные данные и параметры выборки дают идентичный вывод (только для NVIDIA); поддерживается ограничение вывода с помощью регулярных выражений, JSON Schema или EBNF.
- В репозитории присутствуют скрипты для офлайн-оценки на наборах AIME 2026, HLE и GPQA Diamond; количество звёзд отражает только уровень внимания сообщества.
Использование
- Окружение: Linux, GCC 13+, Python 3.12, для NVIDIA требуется CUDA 13, для Ascend требуется CANN 9.2; в пустом окружении Python 3.12 выполните export DEEPINFER_ACCELERATOR=nvidia (для Ascend укажите ascend), затем запустите ./build.sh.
- Команда python examples/offline_inference.py по умолчанию загружает deepseek-ai/DeepSeek-V4.1-Flash-1017 в кэш Hugging Face; если локальные веса уже есть, укажите путь к ним через переменную DEEPINFER_HF_MODEL_DIR, для многокарточного режима используйте параметры --ep 8, --ep 2 --dp 8 и другие.
- Детерминированный вывод: установите DEEPINFER_BATCH_INVARIANT=1 и DEEPINFER_ENABLE_MTP_VARLEN=0, а также передайте фиксированный seq_seed в SamplingParams; для структурированного вывода передайте so_args в SamplingParams.
Риски
- Поддерживаются только GPU архитектуры NVIDIA SM100 и NPU Huawei Ascend 950, потребительские видеокарты не поддерживаются; официальные графики производительности основаны на измерениях с 4 картами для prefill и 64 картами для decode.
- Данная версия не включает систему кэша KV, раздельное развертывание Prefill/Decode и балансировку нагрузки между несколькими репликами, поэтому её нельзя напрямую использовать для построения полноценного онлайн-сервиса; в настоящее время поддерживается только одна модель — V4.1-Flash.