Moteur d'inférence locale écrit en C pur, conçu spécifiquement pour exécuter d'énormes modèles à experts mélangés (MoE) : les parties utilisées pour chaque token (attention, experts partagés, embeddings de mots) résident en mémoire, tandis que les experts sélectionnés par le routage sont lus à la demande depuis le disque dur, avec un cache qui mémorise les experts que vous utilisez fréquemment ; aucune carte graphique n'est requise, mais si vous en avez une, les experts les plus sollicités et les couches denses y sont placés.
Étoiles 46561 (+675 / 24h)
Raison
- Le point de départ de l'auteur : les modèles MoE sont volumineux sur le disque mais utilisent peu de paramètres par token. Par exemple, pour GLM-5.2, le nombre total de paramètres est de 744B, mais environ 40B sont utilisés par token. Le modèle n'a donc pas besoin d'être entièrement chargé dans la mémoire vidéo, il suffit de le « placer au bon endroit ». L'auteur souligne que la stratégie par défaut ne modifie pas silencieusement la précision du modèle ou le routage ; un manque de mémoire n'affecte que la vitesse.
- Le README liste 13 moteurs : pour les modèles de langage, on trouve GLM-5.2/5.3, Kimi K3, DeepSeek V4 / V4.1 Flash, MiMo-V2.6, Qwen3.6 / Qwen3.8, etc., ainsi que Qwen-Image-2.1 pour la génération d'images à partir de texte et des modèles de décision pour les tâches de classification binaire. Il peut également lire directement les fichiers GGUF publiés, avec support pour CPU, Vulkan (toutes les cartes graphiques, y compris les graphiques intégrés) et CUDA.
- coli serve fournit simultanément des interfaces compatibles OpenAI et Anthropic (Claude Code peut s'y connecter directement), la prise en charge des appels d'outils, l'entrée d'images et une interface de génération d'images à partir de texte ; un tableau de bord web intégré permet de voir quand chaque expert est activé ; la vitesse de chaque modèle est indiquée avec la machine de test utilisée (tests effectués par l'auteur).
Utilisation
- Minimum 8 Go de RAM (16 Go ou plus recommandé), le plus petit modèle nécessite 22 Go d'espace disque, la carte graphique est optionnelle ; sous Windows, téléchargez le ZIP et double-cliquez sur START-HERE.bat, sous Linux / macOS, clonez le dépôt et exécutez ./start-here.sh.
- L'installateur détecte la mémoire, le disque, le CPU et la carte graphique, recommande le modèle approprié, compile ou télécharge automatiquement le moteur, permet la reprise des téléchargements de modèles, puis ouvre http://127.0.0.1:8000/ ; utilisez --list pour vérifier si chaque modèle peut s'exécuter sur votre machine, --model pour spécifier un modèle, et --backend vulkan / cuda / cpu pour choisir le backend.
- Intégration avec d'autres programmes : utilisez l'URL de base OpenAI http://127.0.0.1:8000/v1，Anthropic et l'URL de base Anthropic http://127.0.0.1:8000；也可以让. Pour les assistants IA, suivez docs/AI_SETUP.md pour une installation assistée, ou utilisez les outils MCP fournis par coli mcp.
Risques
- La vitesse des grands modèles est limitée par le disque dur ; les chiffres fournis par l'auteur se situent généralement entre 0.05 et quelques tokens par seconde, le plus grand modèle Kimi K3 atteignant environ 9.4 secondes par token, ce qui le rend plus adapté aux tâches non urgentes ; les téléchargements de grands modèles atteignent souvent plusieurs centaines de Go, nécessitant un disque NVMe rapide.
- La licence du moteur est Apache-2.0, mais les modèles ont leurs propres licences : le README indique que Qwen-Image-2.1 est sous licence non commerciale et que Muse Spark Open est soumis aux conditions de licence de Meta ; tous les chiffres de vitesse ont été mesurés par l'auteur sur les machines listées.