Сообщество объединило квантованные и упакованные версии V4.1-Flash-1017 в одну запись, сейчас их 24, они охватывают форматы GGUF (unsloth, ISTA DASLab и др.), EXL3, MLX, NVIDIA NVFP4 и другие. По сравнению с предыдущим включением (10-31), в текущем окне добавлена версия GSQ-RCO Coder, выпущенная Институтом науки и технологий Австрии (ISTA) DASLab 11-02: на основе квантованной версии IQ2_XXS из каждого слоя удалено 192 из 384 маршрутизируемых экспертов, а оставшиеся эксперты отобраны на основе калибровочных данных для кода, вызовов инструментов агентами, длинного контекста и зрения.
Общее количество загрузок 3296957 · Общее количество лайков 1464
Причины
- Автор утверждает: веса Transformer для Coder занимают 72.12 ГБ (непрунингованная версия IQ2_XXS занимает 138.2 ГБ), что составляет примерно 1.05 бит на параметр при пересчете на исходные параметры модели; две таблицы поиска Engram занимают 110.6 ГБ, они общие с непрунингованной версией и считываются с диска построчно для каждого токена, поэтому могут не находиться постоянно в памяти, общий размер загрузки составляет 182.72 ГБ.
- Приведенные автором оценки кода (интенсивность рассуждений 50): SWE-bench Verified снизился с 81.20 до 77.00 (сохранено 94.8%), LiveCodeBench v6 снизился с 89.71 до 88.57 (сохранено 98.7%); эксперты отбираются совместно по всей модели с использованием метода RCO на основе дивергенции KL, а не по важности на каждом слое с выбором лучших, список оставшихся экспертов для каждого слоя публикуется в репозитории.
- В сводке другие ветки не изменились; Coder — единственная новая ветка, появившаяся в текущем окне, и это первый случай в данной рубрике, когда представлена сжатая версия V4.1 с прунингом экспертов по назначению.
Использование
- Для llama.cpp требуется версия b11870 или новее: hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF --include "IQ2_XXS/*" "*Engram*", затем файлы Engram нужно связать как 6-й фрагмент (в карточке приведены команды ln -s для Linux и mklink /H для Windows), llama-cli -m указывает на 1-й фрагмент с флагом -ngl 99.
- Если у вас уже загружена непрунингованная версия GSQ-RCO, файлы Engram и проекция для зрения mmproj идентичны, повторная загрузка не требуется; для работы с изображениями добавьте --mmproj, для интенсивности рассуждений используйте --reasoning on --reasoning-effort 50.
- Для общего диалога без упора на код автор рекомендует использовать непрунингованную версию GSQ-RCO; для других форматов (unsloth GGUF, EXL3, MLX, NVFP4) см. соответствующие страницы веток в сводке.
Риски
- Автор явно указывает, что это экспериментальный релиз: удаление половины экспертов неизбежно приводит к потере возможностей, снижение качества вне задач кода, вызова инструментов, длинного контекста и зрения является платой за метод; в карточке приведены только две оценки для кода; шаги запуска и цифры по видеопамяти для однокарточного движка Strata в карточке все еще обозначены как TBD (будет дополнено).
- Все баллы получены автором самостоятельно при интенсивности рассуждений 50, стороннего воспроизведения нет; по-прежнему требуется комбинация памяти/видеопамяти, способная разместить примерно 72 ГБ весов, и примерно 183 ГБ дискового пространства, размещение таблиц Engram на внешнем диске замедлит предзаполнение.