Outil d'inférence locale basé sur llama.cpp : placez les experts des modèles MoE dépassant la mémoire ou la VRAM sur un SSD pour une lecture à la demande, exécutez-les avec des fichiers GGUF standard, et profitez d'une interface de chat web et d'une API compatible OpenAI ; l'approche est similaire à celle de colibri, recommandé en premier, mais ne prend actuellement en charge que deux modèles.
Nombre d'étoiles 259 (+32 / 24h)
Raison
- Les modèles actuellement testés sont DeepSeek-V4.1-Flash-1017 et Muse-Spark-Open, deux versions GGUF converties par la communauté ; l'auteur a comparé les vitesses de pré-remplissage et de génération avec llama.cpp original et colibri sur quatre machines (MacBook Pro M5 Max, RTX 5060 Ti, RTX 5090, DGX Spark) et a publié la méthode de mesure
- Aucune configuration de mémoire n'est nécessaire, le programme s'adapte automatiquement à la mémoire disponible ; la première exécution mesure les performances de la machine
Utilisation
- macOS sur Apple Silicon ou Linux avec GPU NVIDIA : curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh (compilation depuis les sources, environ 2 à 12 minutes, sudo non requis)
- inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF pour discuter dans le terminal ; inferssd serve -hf … pour lancer l'interface web et l'API http://127.0.0.1:8080/v1 ; --model-dir pour spécifier le disque de stockage des modèles
Risques
- La première exécution nécessite le téléchargement d'environ 470 GiB de fichiers de modèle ; Linux requiert le kit d'outils CUDA, les en-têtes liburing et systemd avec cgroup v2 activé, Windows est encore en développement et ne propose pas de paquets précompilés
- Les chiffres de comparaison proviennent des tests de l'auteur ; les fichiers de modèle sont des versions converties par la communauté, les licences des poids dépendent de leurs éditeurs respectifs ; licence Apache-2.0, dépôt créé le 22 10