Ce dépôt publie les paquets d'exécution DeepSeek-V4.1-Flash-1017 destinés à Flare (le runtime d'inférence locale en Rust open source de NVIDIA). Chaque version comprend des poids prétraités, des noyaux compilés, des graphes d'exécution capturés et des métadonnées de signature, pour un parallélisme tensoriel sur quatre cartes. Il prend en charge les entrées texte et image, avec une longueur maximale de 1,048,576 jetons par requête, et une interface compatible avec OpenAI. Deux versions de plateforme sont disponibles : gb202 et gb10. Cette dernière pré-déplie le scaling des experts afin d'éviter les conversions à l'exécution.
Pourquoi c'est important Les noyaux et les graphes d'exécution sont précompilés et ne nécessitent pas Python. Les machines DGX locales ou multi-cartes peuvent directement lancer un service compatible OpenAI.
Score de progression 2 · J'aime 18 · Téléchargements 0
Raison
- Les paquets d'exécution sont signés par l'éditeur et vérifiés par Flare avant le chargement
Utilisation
- Après avoir installé Flare, téléchargez et exécutez la version correspondant à votre plateforme. Les fichiers d'une même version doivent être regroupés et ne peuvent pas être mélangés
Risques
- Transformers, vLLM, SGLang et llama.cpp ne peuvent pas charger ce format
- Quatre cartes ou quatre appareils sont nécessaires