Titre original : LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Lors du décodage en contexte long, le cache KV croît linéairement avec la longueur, ce qui limite la taille des lots et le débit. LowRAM a découvert que les valeurs au sein d'une même tête d'attention peuvent souvent être prédites à partir des clés correspondantes. Ainsi, lors de l'inférence, un petit prédicteur est ajusté pour chaque tête, seuls les résidus des tokens les plus mal prédits étant stockés, en combinaison avec une compression des clés par rang faible inter-couches ; les poids du modèle de base restent inchangés, et le prédicteur peut être initialisé par apprentissage méta afin de réduire la surcharge de pré-remplissage. Les auteurs affirment que le cache de valeurs peut être compressé quasi sans perte par un facteur 4, que le débit de décodage maximal augmente jusqu'à 5 fois sous une compression de 4, et qu'en combinant quantification et élimination, on atteint une compression de 26.9 en contexte long tout en conservant 94.5% des performances de la référence.
Pourquoi c'est important La mémoire vidéo pour l'inférence en contexte long est principalement occupée par le cache KV ; cette méthode ne modifie pas les poids du modèle de base et peut être combinée avec les solutions existantes de quantification et d'élimination
J'aime 10 · Étoiles du code 1
Raisons
- Cible les goulots d'étranglement en mémoire vidéo et en débit pour le déploiement en contexte long, étant complémentaire aux approches de quantification et d'élimination de tokens, ce qui permet une utilisation combinée
- Le dépôt fournit une implémentation CompressedCache compatible avec Transformers, des points de contrôle du prédicteur pour Llama-3.1-8B et Mistral-7B, ainsi que des exemples exécutables
- Le README précise que les différents résultats proviennent de configurations expérimentales distinctes, sans être mélangés dans une seule configuration promotionnelle
Utilisation
- Code : téléchargement via Git LFS (git lfs pull) https://github.com/lowram-model/lowram;预测器检查点随仓库用
- Comparez d'abord en utilisant python -m examples.lowram_demo --method fast et --method baseline ; dans votre propre code, passez CompressedCache comme past_key_values à model.generate
Risques
- Actuellement, seuls les architectures Llama et Mistral sont prises en charge ; le modèle par défaut Llama-3.1-8B-Instruct nécessite une demande d'accès préalable sur Hugging Face
- Le README indique que l'amélioration du débit est une comparaison des pics à différentes tailles de lot ; pour les petits lots, la référence sans compression est plus rapide
- La phase de pré-remplissage nécessite l'ajustement du prédicteur, ce qui engendre une surcharge supplémentaire ; cette entrée n'a pas été exécutée