V4.1-Flash-1017 pré-emballé pour Flare, le runtime d'inférence Rust open source de NVIDIA : les poids, les noyaux CUDA compilés et les graphes d'exécution capturés sont regroupés dans un package signé, permettant de lancer directement un service compatible OpenAI avec un parallélisme tensoriel sur 4 cartes, prenant en charge les entrées texte-image et un contexte de 1,048,576 tokens.
Score de montée 4 · J'aime 16 · Téléchargements 0
Raisons
- Deux versions selon le matériel : gb202 est destinée à une machine unique avec 4 cartes RTX PRO 6000 Blackwell 96 GB (environ 515 GB), tandis que gb10 est destinée à 4 machines DGX Spark (environ 490 GB).
- Aucun besoin de Python ni de compilation à l'exécution ; la signature de l'éditeur est vérifiée avant le chargement, l'auteur indique jusqu'à 32 requêtes simultanées par package, avec une validation MTP adaptative.
- La fiche modèle 10-27 a été mise à jour ; base de données créée par 10-18.
Utilisation
- hf download local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE --revision gb202 --include '*.safetensors' 'publisher.json' --local-dir ./models, puis utilisez l'image ghcr.io/local-inference-lab/flare:release pour exécuter run /models/model.safetensors --gpus 0,1,2,3 (voir le README de la branche gb202 pour les paramètres complets).
- L'interface se trouve sur /v1, le nom du modèle est DeepSeek-V4.1-Flash ; les utilisateurs de DGX Spark doivent consulter la branche gb10 et installer flare via le package APT signé.
Risques
- Ne peut être chargé que par Flare ; Transformers, vLLM, SGLang et llama.cpp ne peuvent pas le lire ; l'exemple gb202 place la table Engram en mémoire, nécessitant au moins 256 GiB de mémoire hôte.
- La fiche modèle indique que des évaluations de précision complètes n'ont pas été réalisées ; l'éditeur est local-inference-lab, et non DeepSeek officiel.