Qwen3.8-Flash-Next Version allégée : suppression d'un quart des experts de routage

Version allégée non officielle basée sur nvidia/Qwen3.8-Flash-Next-FP4-Local : utilisation de la recherche architecturale neuronale pour sélectionner les experts de routage conservés dans chaque couche MoE du décodeur et chaque couche MTP, réduisant leur nombre de 512 à 384 ; le routage top-10, les experts partagés, l'attention, la tour visuelle et le tokenizer restent inchangés. La taille des poids passe de 102.14 Go à 85.66 Go (environ −16.1%). Trois tours d'entraînement LoRA de type GRPO avec récompenses vérifiables ont ensuite été effectués (le dernier tour étant axé sur la complétion des scores CVSS et la sortie structurée de découverte de vulnérabilités), puis fusionnés dans un modèle complet. L'auteur indique que lors d'une évaluation unique, AIME 2026 atteint 95.0 (valeur de référence 93.3), MMLU 87.37, tandis que GPQA-Diamond 75.76 et MMMU 78.22 sont légèrement inférieurs aux valeurs de référence.

Titre original : autotrust/Qwen3.8-Flash-Next-E384-FP4-V2

Version allégée non officielle basée sur nvidia/Qwen3.8-Flash-Next-FP4-Local : utilisation de la recherche architecturale neuronale pour sélectionner les experts de routage conservés dans chaque couche MoE du décodeur et chaque couche MTP, réduisant leur nombre de 512 à 384 ; le routage top-10, les experts partagés, l'attention, la tour visuelle et le tokenizer restent inchangés. La taille des poids passe de 102.14 Go à 85.66 Go (environ −16.1%). Trois tours d'entraînement LoRA de type GRPO avec récompenses vérifiables ont ensuite été effectués (le dernier tour étant axé sur la complétion des scores CVSS et la sortie structurée de découverte de vulnérabilités), puis fusionnés dans un modèle complet. L'auteur indique que lors d'une évaluation unique, AIME 2026 atteint 95.0 (valeur de référence 93.3), MMLU 87.37, tandis que GPQA-Diamond 75.76 et MMMU 78.22 sont légèrement inférieurs aux valeurs de référence.

Pourquoi c'est important La même carte graphique peut accueillir davantage de cache KV ou de requêtes concurrentes ; l'auteur a répertorié à la fois les scores sur des questions standard et les problèmes non résolus, facilitant ainsi le jugement

Score en hausse 69 · J'aime 2439 · Téléchargements 55866

Raisons

  • La méthode de compression diffère de la quantification classique : elle réduit le nombre d'experts sur une base déjà en FP4, sans modifier le nombre d'experts activés par token
  • L'auteur a validé cette approche sur une seule carte B200 avec vLLM 0.31, fournissant les paramètres de lancement complets et un script portable serve_vllm.sh

Utilisation

  • Après export PYTHONPATH="$PWD/vllm_patch", lancez vllm serve . avec des paramètres tels que --quantization modelopt_mixed --kv-cache-dtype fp8 --reasoning-parser qwen3 --tool-call-parser qwen3_xml (voir la fiche du modèle pour la commande complète)
  • Le fichier vllm_patch/sitecustomize.py fourni dans le dépôt est nécessaire, sinon la disposition des poids FP4 de ce checkpoint ne pourra pas être lue

Risques

  • Version dérivée non officielle, sans approbation d'Alibaba ni de NVIDIA ; la licence est l'Accord sur les modèles ouverts de NVIDIA (NVIDIA Open Model Agreement)
  • L'auteur admet que le calcul des scores CVSS reste peu fiable : seuls environ 4.5% (CVSS3) et 4.2% (CVSS4) des réponses complètes correspondent exactement à l'implémentation de référence
  • Les évaluations sont effectuées en une seule exécution, les valeurs de référence étant tirées de chiffres publiés précédemment et non réexécutées dans les mêmes conditions ; cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA