(Description du dépôt) Un moteur d'inférence hiérarchique pour les modèles MoE de pointe : experts chauds sur le GPU (CUDA, Vulkan), tièdes en RAM, froids diffusés depuis NVMe. Écrit en C, fonctionne sur le matériel dont vous disposez déjà.
47253 étoiles (+802 / 24h)
Raison
- 802 nouvelles étoiles en 24 heures, total de 47253 étoiles (représente uniquement l'attention portée).
Utilisation
- Consultez le README du dépôt pour les instructions d'utilisation.
Risques
- Brouillon automatique : non encore relu par un éditeur.