Объединение 22 квантованных версий V4.1-Flash-1017 от сообщества и производителей в одну запись, охватывающую форматы GGUF, EXL3, MLX, GSQ, NVFP4 и др.; по сравнению с 10-30, NVIDIA 10-30 выпустила версию NVFP4, а turboderp добавил в EXL3 новый уровень 2.68bpw.
Количество загрузок (всего) 2359927 · Количество лайков (всего) 1106
Причины
- nvidia/DeepSeek-V4.1-Flash-1017-NVFP4: с помощью Model Optimizer маршрутизируемые эксперты преобразованы из исходного MXFP4 в NVFP4 (W4A4), таблица поиска Engram преобразована из FP8 в MXFP4, внимание, общие эксперты, визуальный модуль и MTP сохранены в исходной точности; согласно карточке модели, размер составляет около 400 ГиБ (исходный размер около 475 ГиБ), 48 частей, лицензия MIT, разрешено коммерческое использование.
- NVIDIA провела сравнение по шести метрикам на четырех картах GB300 с использованием vLLM, результаты практически совпадают с исходными весами (например, GPQA Diamond 92.93 против 92.77, Terminal-Bench 2.1 81.11 против 81.81), и указано, что преобразование весов экспертов является безпотерьным, а преобразование Engram — с потерями.
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 теперь имеет две ветки: 2.25bpw и 2.68bpw, по-прежнему требуется ExLlamaV3 v1.6.6 или dev-ветка, дополнительные уровни квантования и оценки будут добавлены позже.
Использование
- Серверные карты Blackwell: используйте сборку vLLM с поддержкой MXFP4 для Engram (vllm-project/vllm#61530), команда: vllm serve nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 --tensor-parallel-size 4 --tokenizer-mode deepseek_v41 --kv-cache-dtype fp8 --reasoning-parser deepseek_v41 (полные параметры см. в карточке модели); для вызова инструментов добавьте --enable-auto-tool-choice --tool-call-parser deepseek_v41.
- Одна карта / потребительский сегмент: после установки ExLlamaV3 v1.6.6 выполните hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.68bpw; для CPU с большим объемом памяти рассмотрите GGUF от unsloth или GSQ-RCO от ISTA-DASLab (требуется llama.cpp версии b11870 или выше); для чипов Apple рассмотрите серию oQ от mlx-community.
Риски
- Версия NVFP4 поддерживается только на архитектуре Blackwell, официальный образ vLLM не может ее загрузить, необходимо объединить указанный выше PR; SGLang не проверена, спекулятивное декодирование MTP не тестировалось.
- Обсуждение #33 в официальном репозитории (при отсутствии режима размышлений и наличии системного промпта короткие приветствия приводят к искажению ответа примерно в 47% случаев, проблема воспроизводится и через официальный API) все еще открыто, официальное подтверждение отсутствует; карточка turboderp также предупреждает, что искажение вывода при коротких промптах чаще всего является проблемой самой модели. Сравнения качества других квантованных версий основаны на самостоятельных тестах авторов, количество загрузок отражает только уровень интереса.