Titre original : Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices
L'exécution de grands modèles à mélange d'experts (MoE) sur des ordinateurs personnels dotés d'une mémoire vidéo et d'une mémoire système limitées impose de répartir les poids entre trois niveaux : la mémoire vidéo, la mémoire système et le SSD NVMe. Le transfert des experts se trouve directement sur le chemin critique. Les auteurs estiment que les systèmes existants traitent chaque niveau comme un cache indépendant, ce qui provoque des allers-retours incessants (thrashing). Tideway fusionne la mémoire système et la mémoire vidéo en un pool de mémoire unifié, soutenu par le SSD, et commence par récupérer les copies redondantes entre les niveaux ; lors de la phase de pré-remplissage, il utilise la mémoire vidéo pour un chargement en double tampon (double buffering) et « ancre » les experts réutilisables situés dans la mémoire système ; lors de la phase de décodage, il restitue la mémoire vidéo empruntée pour l'utiliser comme emplacements de cache d'experts à adresses fixes ; pendant le décodage, il utilise des graphes CUDA segmentés, où les experts manquants sont chargés entre les segments du graphe sans nécessiter de recapture. Le papier indique une latence de bout en bout moyenne 1.97 fois plus rapide, un temps jusqu'au premier token (TTFT) 2.40 fois plus rapide et un débit de décodage 1.61 fois supérieur (par rapport à la base de référence la plus rapide).
Pourquoi c'est important Lors de l'exécution locale de grands modèles MoE, les poids débordent inévitablement vers la mémoire système et le disque dur ; les auteurs affirment que la latence de bout en bout et le temps jusqu'au premier token sont plus courts que ceux des solutions existantes les plus rapides
J'aime 8 · Étoiles du code 6
Raisons
- La machine de test indiquée dans le README est équipée d'une RTX 5090 (32 Go de mémoire vidéo) et de 16–128 GiB de mémoire système, avec les modèles Qwen3.6-35B-A3B (BF16), Gemma4-26B-A4B (BF16) et DeepSeek-V4-Flash (FP4, environ 155 GiB)
- Les auteurs affirment une accélération maximale de 3.14 fois sur les sessions d'agents de programmation multi-tours de TraceLab ; les bases de référence comparées incluent FreeToken, llama.cpp, SSD-LLaMA et FlashMoE
- Le code est sous licence Apache-2.0, accompagné d'une animation de relecture des mesures de vitesse pour la résidence des experts et les sessions d'agents sur 29 tours
Utilisation
- Code : https://github.com/Afterglow231/Tideway;需要 Linux, Python 3.12 ou version ultérieure, carte graphique NVIDIA, chaîne d'outils CUDA 13 et GCC
- Après
python -m pip install -e ., exécutezpython scripts/build_backend.pypour assembler le backend ; appeleztideway.activate_backend()avant d'importer FreeToken, puis utiliseztideway.offload.installconformément àdocs/usage.mdpour équiper le moteur de la hiérarchie d'experts
Risques
- Il s'agit d'un backend superposé à FreeToken 0.1.2, et non d'une application de chat prête à l'emploi ; les points de contrôle du modèle, les emplacements de cache d'experts en mémoire vidéo et la longueur du contexte doivent être configurés manuellement
- L'amélioration des performances varie considérablement selon la taille de la mémoire système ; dans le README, avec Qwen3.6-35B-A3B et 64 GiB de mémoire système, la latence de bout en bout n'est améliorée que de 1.13 fois ; les bases de référence SSD-LLaMA et FlashMoE ont été implémentées par les auteurs eux-mêmes selon leurs papiers respectifs. Cette entrée n'a pas été exécutée