Il s'agit d'un package de déploiement préparé par JMNI-Labs pour le moteur d'inférence Flare, servant la version communautaire DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix en parallélisme de tenseurs sur deux DGX Spark : les experts routés utilisent un mélange de bits faibles K2/K3/K4, la table Engram est en 4 bits, tandis que l'attention, les experts partagés, MTP, la vision et le tokenizer restent conformes à l'original officiel. Il comprend 16 emplacements de requêtes concurrentes, MTP avec jusqu'à 5 jetons de brouillon de vérification, une charge utile d'environ 259 GiB et une allocation KV par défaut d'environ 14 GiB.
Pourquoi c'est important Offre une voie prête à l'emploi aux possesseurs de deux DGX Spark : concurrence multi-voies, interface compatible OpenAI, et prise en charge des contextes longs.
Score de montée 2 · J'aime 2 · Téléchargements 0
Raisons
- La fiche du modèle précise clairement la chaîne d'origine : poids officiels MIT, version spécifique du package communautaire TrellisMX et noyaux utilisés
Utilisation
- Installez Flare compilé depuis la branche correspondante sur les deux DGX Spark ; sur la première, utilisez flare download pour récupérer le package et démarrez avec le rang 0, sur la seconde, rejoignez avec le rang 1, et le client se connecte au port 8000 de la première machine
Risques
- Nécessite la branche du moteur ds41-trellismx qui n'a pas encore été fusionnée dans la version officielle ; la version officielle de flare-inference ne peut pas la charger
- Le package ne contient qu'une signature de développement local ; le démarrage nécessite les paramètres --dangerously-*, et l'auteur recommande de l'utiliser uniquement sur des hôtes de confiance ou de remplacer par une signature officielle
- Aucune donnée de qualité comparative avec les poids officiels n'est fournie