synchopate/llama-modchip

llama-modchip est un ensemble de correctifs du noyau ggml/llama.cpp, de transcodeurs de quantification et d'outils d'exécution, dont l'objectif est de charger entièrement les modèles MoE épars dans la mémoire système et de n'utiliser que le CPU pour l'inférence. L'auteur affirme avoir compressé davantage la version UD-IQ1_S de DeepSeek-V4-Flash d'Unsloth à 56.56 GiB (environ 1.71 bpw), obtenant un pré-remplissage d'environ 44 tok/s et une génération de 9.1–14.7 tok/s sur une machine dotée de 64 Go de mémoire et de 16 cœurs Zen 5, avec un support de contexte de 256K ; pour les MoE de la classe 30B (comme Nemotron-3.5-30B-A3B), l'auteur rapporte des vitesses de 25–60 tok/s sur des ordinateurs portables disposant de 16–32 Go de mémoire. L'outil inclut également le brouillon auto-spéculatif et la restauration d'instantanés KV, accélérant les sessions d'agents avec des prompts longs.

llama-modchip est un ensemble de correctifs du noyau ggml/llama.cpp, de transcodeurs de quantification et d'outils d'exécution, dont l'objectif est de charger entièrement les modèles MoE épars dans la mémoire système et de n'utiliser que le CPU pour l'inférence. L'auteur affirme avoir compressé davantage la version UD-IQ1_S de DeepSeek-V4-Flash d'Unsloth à 56.56 GiB (environ 1.71 bpw), obtenant un pré-remplissage d'environ 44 tok/s et une génération de 9.1–14.7 tok/s sur une machine dotée de 64 Go de mémoire et de 16 cœurs Zen 5, avec un support de contexte de 256K ; pour les MoE de la classe 30B (comme Nemotron-3.5-30B-A3B), l'auteur rapporte des vitesses de 25–60 tok/s sur des ordinateurs portables disposant de 16–32 Go de mémoire. L'outil inclut également le brouillon auto-spéculatif et la restauration d'instantanés KV, accélérant les sessions d'agents avec des prompts longs.

Pourquoi c'est important Les grands modèles MoE n'exigent pas nécessairement une carte graphique : en plaçant les experts moins utilisés dans la mémoire et en les lisant en flux, il est possible de tester un déploiement local même sur un ordinateur de bureau standard.

Nombre d'étoiles 785 (+287 / 24h)

Raisons

  • 287 nouvelles étoiles en 24 heures (indiquant uniquement le niveau d'attention)
  • Le README répertorie les formats de quantification utilisés pour chaque type de tenseur, l'empreinte mémoire et les scripts de tests de qualité reproductibles

Utilisation

  • Après le clonage du dépôt, exécutez ./modchip chat pour une configuration automatique ; le modèle utilise des types de tenseurs personnalisés, ce qui empêche les versions originales de llama.cpp, Ollama et LM Studio de le charger, il faut donc utiliser les programmes fournis avec le dépôt

Risques

  • Les chiffres de vitesse et de qualité sont auto-mesurés par l'auteur ; le score de qualité de la version DeepSeek est comparé à la version UD-IQ1_S déjà fortement compressée (plus de 1 bits), et non aux poids originaux
  • L'impact de la quantification à très faible nombre de bits sur les tâches complexes est inconnu ; le dépôt a été créé le 29 10

Ouvrir

GitHub

Parcourir les dernières actualités IA