jesdga/DeepSeek-V4.1-Flash-1017-Basalt

Voici un pack de modèles préparé pour Basalt (un moteur d'inférence locale pour les cartes graphiques NVIDIA Blackwell sm_120, compatible avec les interfaces OpenAI et Anthropic) : chaque fichier contient les poids quantifiés Unsloth de DeepSeek-V4.1-Flash-1017, les tables Engram, la projection visuelle, le tokenizer et le modèle brouillon DSpark, disponibles en deux variantes : UD-IQ1_M (260 Go) et UD-IQ2_XXS (285 Go). Il prend en charge l'entrée d'images et un contexte allant jusqu'à 1,048,576 tokens ; l'auteur indique une génération mono-flux d'environ 40–179 tok/s sur une RTX 5090 avec une 5060 Ti, selon la variante et le contenu.

Voici un pack de modèles préparé pour Basalt (un moteur d'inférence locale pour les cartes graphiques NVIDIA Blackwell sm_120, compatible avec les interfaces OpenAI et Anthropic) : chaque fichier contient les poids quantifiés Unsloth de DeepSeek-V4.1-Flash-1017, les tables Engram, la projection visuelle, le tokenizer et le modèle brouillon DSpark, disponibles en deux variantes : UD-IQ1_M (260 Go) et UD-IQ2_XXS (285 Go). Il prend en charge l'entrée d'images et un contexte allant jusqu'à 1,048,576 tokens ; l'auteur indique une génération mono-flux d'environ 40–179 tok/s sur une RTX 5090 avec une 5060 Ti, selon la variante et le contenu.

Pourquoi c'est important Les experts qui ne tiennent pas dans la mémoire vidéo restent en RAM, permettant ainsi d'exécuter localement ce grand modèle MoE sur des cartes graphiques Blackwell grand public.

Score de montée 8 · J'aime 8 · Téléchargements 0

Raisons

  • La fiche du modèle fournit la perplexité, la divergence KL et le taux de concordance des tokens préférés par rapport à la référence BF16

Utilisation

  • Nécessite Basalt 0.3.0 ou supérieur ; téléchargez le fichier .basalt correspondant, puis chargez-le via Basalt

Risques

  • Les chiffres de vitesse et de qualité ont été mesurés par l'auteur sur son propre matériel
  • Un seul fichier fait au moins 260 Go, nécessitant beaucoup de mémoire et d'espace disque ; supporte uniquement les cartes graphiques Blackwell

Ouvrir

Hugging Face

Parcourir les dernières actualités IA