18 версий сообщества с квантованием / упаковкой для V4.1-Flash-1017 объединены в одну запись, охватывающую форматы GGUF, EXL3, MLX, GSQ и др.; по сравнению с 10-28, turboderp 10-29 создал новый репозиторий EXL3, а unsloth, ISTA-DASLab и mlx-community обновили файлы в период с 10-28 по 10-29.
Общее количество загрузок: 2081926 · Общее количество лайков: 928
Причины
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 создал репозиторий 10-29, на данный момент доступна только одна конфигурация 2.25bpw (в ветке 2.25bpw); в карточке модели указано требование ExLlamaV3 v1.6.6 или dev-ветки, другие конфигурации и оценки будут добавлены позже.
- unsloth GGUF с 10-28 по 10-29 получил серию коммитов «Better versions / Better quants update»; согласно карточке модели, минимальная конфигурация 1-bit работает на машинах с более чем 128 ГБ памяти, конфигурация 3-bit требует 256 ГБ, а полная точность — 320 ГБ; необходимо использовать PR для llama.cpp от unsloth или Unsloth Desktop.
- ISTA-DASLab в GSQ-RCO GGUF 10-27 перешел на использование раскладки DeepSeek-V4.1, доступной в llama.cpp b11870 и выше; скрипт конвертации от 10-28 теперь проверяет каждый опубликованный официально SHA-256, и при повреждении файла загрузки выдает ошибку; mlx-community в oQ3e-ngram-mtp 10-29 повысил точность проекций внимания и индексатора до 8-bit.
Использование
- GPU NVIDIA + ExLlamaV3: установите v1.6.6 или dev-ветку, затем выполните hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.25bpw.
- CPU + большой объем памяти: следуйте руководству unsloth для GGUF, используя PR для llama.cpp; ISTA-DASLab GSQ-RCO требует llama.cpp b11870 и выше (движок Delta, добавленный 10-29, также может его загрузить). Для чипов Apple используйте серию oQ от mlx-community.
Риски
- В карточке turboderp указано: искажение вывода при коротких запросах чаще всего связано с самой моделью, и дана ссылка на обсуждение в официальном репозитории #33 — пользователи сообщества сообщают, что в режиме без размышлений при наличии системного промпта ответы на короткие приветствия вроде «hello» искажаются примерно в 47% случаев, что воспроизводится и через официальный API; обсуждение все еще открыто, официальной информации нет.
- Все версии являются квантованными версиями сообщества, сравнение качества выполнено авторами самостоятельно; общее количество загрузок за 30 дней отражает только уровень интереса.