16 квантованных версий от сообщества для официальных весов V4.1-Flash-1017, охватывающих форматы GGUF (llama.cpp и несколько специализированных движков), EXL3 (многокарточный vLLM / exllamav3), MLX и форматы, оптимизированные для Apple Silicon; в этом выпуске мы просмотрели карточки моделей по отдельности и не обнаружили версий с удаленной цензурой или дообученных версий.
Всего загрузок: 1515552 · Всего лайков: 843
Причины
- GGUF-версия GSQ-RCO от ISTA-DASLab включает три уровня квантования: IQ1_M, IQ2_XXS и IQ2_XS (общий объем примерно 231–266 ГБ). После обновления 10-27 их можно загружать с помощью основной ветки llama.cpp версии b11870 и выше, поддерживается ввод изображений. Автор утверждает, что IQ2_XXS показывает результаты, сопоставимые с оригиналом, на бенчмарках AIME25, GPQA-Diamond и LiveCodeBench v6 (тестирование автора, уровень сложности рассуждений 50).
- Для машин с 128 ГБ памяти есть несколько вариантов: по словам автора, Maya-XS (движок Project Maya) занимает 115.3 ГБ постоянной памяти; версия Q2 GGUF от ds4 предназначена для потокового чтения с SSD на Mac с 128 ГБ памяти; unsloth утверждает, что минимальная 1-битная версия требует более 128 ГБ памяти.
- Для многокарточных конфигураций доступны решения EXL3: версия от diffbot рассчитана на 2 карт RTX PRO 6000, а версия franken-v100 — на 8 карт V100 32 ГБ; версия LibertAI с 2.9 bpw включает chat_template.jinja, портированный с официального кодировщика, и, по словам автора, рендерится идентично эталонной реализации в 8,455 тестовых случаях.
- Суммарные показатели загрузок и лайков отражают только уровень интереса.
Использование
- llama.cpp: hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF --include "*IQ2_XXS*" "*Engram*" --local-dir ., согласно карточке модели создайте символическую ссылку на файл Engram как на 6-й фрагмент, затем загрузите модель командой llama-cli -m …-00001-of-00006.gguf.
- Apple Silicon: версии oQ4e / oQ2.5e (oMLX) от mlx-community или Sushi-STQ 1.75bpw от beamster (требуется sushi v1.4.0+, macOS 26.2+).
- Большинство пакетов EXL3 не содержат две таблицы Engram, их необходимо отдельно загрузить из официального репозитория как 47-й и 48-й фрагменты (каждый объемом примерно 95 ГиБ).
Риски
- Даже минимальная версия вместе с таблицами Engram занимает несколько сотен ГБ, таблицы Engram должны находиться на быстром SSD; требования к движкам и веткам различаются в разных репозиториях (версия от mrfakename по-прежнему требует специфической ветки llama.cpp, а версия unsloth требует использования их PR или Unsloth Desktop), перед загрузкой обязательно ознакомьтесь с соответствующей карточкой модели.
- Показатели качества (KLD, совпадение top-1, баллы в бенчмарках) получены авторами самостоятельно, методологии различаются; версия lossless-CSF распространяется под пользовательской лицензией LIL и требует специального загрузчика.