Un ordonnanceur de VRAM pour l'accompagnement IA local avec AstrBot et DeepSeek Harness : sur une même carte de 12 Go, il arrête les processus locaux inutiles (LLM, IndexTTS ou ComfyUI) selon la tâche, lance ceux qui sont nécessaires, puis les restaure une fois l'opération terminée.
Nombre d'étoiles 28
Raison
- Conçu pour les cas où la VRAM déborde sous Windows sans erreur, mais où la mémoire est paginée vers la RAM, rendant le système extrêmement lent ; l'auteur affirme que sur sa machine, la diffusion vocale est passée de 30 secondes par étape à 0.12 secondes.
- Il ne démarre et n'arrête que les processus listés dans votre profil (nom du processus + ligne de commande + liste blanche de ports), attend que les services soient réellement prêts et que la file d'attente de ComfyUI soit vide avant de basculer ; côté DSH, il fournit les outils vram_status / vram_acquire / vram_release, ainsi qu'un point d'entrée MCP.
Utilisation
- git clone https://github.com/xiaoxiao150/vram-switcher && cd vram-switcher, exécutez python configure.py --root D:/AI pour détecter automatiquement les services en cours d'exécution et générer profile.local.json (ajoutez --dry-run pour prévisualiser sans écrire).
- AstrBot peut trouver VRAM Switcher sur le marché des plugins ; l'intégration vocale nécessite que votre plugin TTS écrive et supprime les fichiers selon le protocole tts_busy.flag / tts_ready.flag.
Risques
- Le lien avec DeepSeek se limite au support de DSH comme hôte ; le modèle de dialogue local utilisé dans les exemples de l'auteur n'est pas DeepSeek ; le cas d'usage est très spécifique et n'a été validé en production que sur des cartes NVIDIA sous Windows.
- Il termine et démarre des processus locaux selon la configuration ; une erreur dans le profil pourrait arrêter des services qui ne devraient pas l'être.