PropriétaireLégal/Volta-Max-uPLIft-FP4-DeepSeek-V4.1-Flash-1017-NVFP4-8xV100-SXM2-PP2xTP4

L'auteur place d'abord tous les experts de routage dans la carte graphique au format compressé IQ2, puis remplace progressivement leurs poids par ceux du paquet NVFP4 officiel de NVIDIA, selon leur fréquence d'utilisation, jusqu'à ce que la mémoire soit pleine : parmi les 15360 experts de routage, 6087 conservent la précision NVFP4 et assurent entre 79% et 85% du routage de décodage sur les échantillons mesurés. L'auteur indique que la version du 13 11 génère environ 117.7 tokens par seconde pour une requête unique, entre 143 et 175 tokens par seconde pour des longueurs de code comprises entre 1K et 256K, avec un taux de correspondance du token suivant avec la référence NVFP4 de 95.1% ; c'est plus lent que le Volta sPLIt du même auteur, mais plus proche de la précision officielle.

L'auteur place d'abord tous les experts de routage dans la carte graphique au format compressé IQ2, puis remplace progressivement leurs poids par ceux du paquet NVFP4 officiel de NVIDIA, selon leur fréquence d'utilisation, jusqu'à ce que la mémoire soit pleine : parmi les 15360 experts de routage, 6087 conservent la précision NVFP4 et assurent entre 79% et 85% du routage de décodage sur les échantillons mesurés. L'auteur indique que la version du 13 11 génère environ 117.7 tokens par seconde pour une requête unique, entre 143 et 175 tokens par seconde pour des longueurs de code comprises entre 1K et 256K, avec un taux de correspondance du token suivant avec la référence NVFP4 de 95.1% ; c'est plus lent que le Volta sPLIt du même auteur, mais plus proche de la précision officielle.

Pourquoi c'est important La fréquence d'utilisation par octet détermine quels experts conservent leur précision originale, tous les experts étant stockés dans la mémoire vidéo sans passer par PCIe ; les vitesses, les précisions et les tentatives échouées sont publiées avec leurs dates pour faciliter la reproduction.

Étoiles 18

Raison

  • Le dépôt a été créé le 10 11, sous licence Apache-2.0 ; après lecture du README, chaque chiffre est accompagné de sa date de mesure, des conditions et des enregistrements bruts.
  • Le README consacre une section distincte aux « échecs ou insuffisances », par exemple la qualité de la lecture rapide des prompts n'a pas encore été confirmée.

Utilisation

  • Nécessite deux cartes 4 avec pont NVLink, totalisant 8 V100-SXM2-32GB : compilez le moteur selon le README, téléchargez le paquet hugging face de 556 GB et vérifiez-le avec SHA256SUMS, puis lancez-le avec serve_hot_iq.sh

Risques

  • Le seuil matériel est élevé, les utilisateurs ordinaires ne peuvent pas reproduire l'expérience ; les chiffres de vitesse et de précision proviennent tous de la machine de l'auteur.
  • La lecture rapide des prompts, activée par défaut, modifie la sortie, et l'auteur note que sa qualité n'a pas encore été confirmée.

Ouvrir

GitHub

Parcourir les dernières actualités IA