Qwen3.8-Flash-Next Lite: сокращено количество маршрутизируемых экспертов на четверть

Неофициальная облегченная версия, основанная на nvidia/Qwen3.8-Flash-Next-FP4-Local: с помощью нейронного поиска архитектуры (NAS) отобраны сохраняемые маршрутизируемые эксперты для каждого слоя MoE декодера и слоя MTP, их количество сокращено с 512 до 384; топ-10 маршрутизация, общие эксперты, механизм внимания, визуальный энкодер и токенизатор остались без изменений. Размер весов уменьшен с 102.14 ГБ до 85.66 ГБ (примерно −16.1%). Затем было проведено три раунда обучения LoRA в стиле GRPO с проверяемой наградой (последний раунд был направлен на дополнение оценок CVSS и вывод структурированных данных об уязвимостях), после чего веса были объединены в полную модель. По словам автора, при однократном тестировании результат AIME 2026 составил 95.0 (референсное значение 93.3), MMLU 87.37, а показатели GPQA-Diamond 75.76 и MMMU 78.22 оказались немного ниже референсных значений.

Оригинальное название: autotrust/Qwen3.8-Flash-Next-E384-FP4-V2

Неофициальная облегченная версия, основанная на nvidia/Qwen3.8-Flash-Next-FP4-Local: с помощью нейронного поиска архитектуры (NAS) отобраны сохраняемые маршрутизируемые эксперты для каждого слоя MoE декодера и слоя MTP, их количество сокращено с 512 до 384; топ-10 маршрутизация, общие эксперты, механизм внимания, визуальный энкодер и токенизатор остались без изменений. Размер весов уменьшен с 102.14 ГБ до 85.66 ГБ (примерно −16.1%). Затем было проведено три раунда обучения LoRA в стиле GRPO с проверяемой наградой (последний раунд был направлен на дополнение оценок CVSS и вывод структурированных данных об уязвимостях), после чего веса были объединены в полную модель. По словам автора, при однократном тестировании результат AIME 2026 составил 95.0 (референсное значение 93.3), MMLU 87.37, а показатели GPQA-Diamond 75.76 и MMMU 78.22 оказались немного ниже референсных значений.

Почему это важно На той же видеокарте можно разместить больше кэша KV или обеспечить большую параллельность; автор перечислил как результаты по стандартным задачам, так и нерешенные проблемы, что облегчает оценку модели

Рост рейтинга 69 · Лайки 2439 · Количество загрузок 55866

Причины

  • Метод сжатия отличается от обычного квантования: количество экспертов дополнительно сокращается поверх уже имеющегося формата FP4, при этом число активируемых экспертов на токен остается неизменным
  • Автор проверил работу модели на одной карте B200 с использованием vLLM 0.31, предоставив полные параметры запуска и переносимый скрипт serve_vllm.sh

Использование

  • Выполните export PYTHONPATH="$PWD/vllm_patch", затем запустите vllm serve . с параметрами --quantization modelopt_mixed --kv-cache-dtype fp8 --reasoning-parser qwen3 --tool-call-parser qwen3_xml и другими (полная команда указана в карточке модели)
  • Требуется файл vllm_patch/sitecustomize.py из репозитория, иначе невозможно прочитать раскладку весов FP4 этого чекпойнта

Риски

  • Это неофициальная производная версия, не поддерживаемая ни Alibaba, ни NVIDIA; лицензия — NVIDIA Open Model Agreement
  • Автор прямо указывает, что расчет CVSS по-прежнему ненадежен: полностью совпадают с эталонной реализацией лишь около 4.5% (CVSS3) и 4.2% (CVSS4) завершенных ответов
  • Все тесты проводились однократно, референсные значения взяты из ранее опубликованных данных и не были пересчитаны в тех же условиях; данный пункт не был выполнен

Открыть

Hugging Face Trending

Открыть последние новости ИИ