원제: LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
긴 컨텍스트 디코딩 시 KV 캐시는 길이에 따라 선형적으로 증가하여 배치 크기와 처리량을 제한합니다. LowRAM은 동일한 어텐션 헤드 내에서 값의 대부분이 해당 키로 예측할 수 있음을 발견했습니다. 따라서 추론 시 각 헤드마다 작은 예측기를 적합(fit)하고, 예측 오차가 가장 큰 토큰에 대해서만 잔차를 저장하며, 여기에 레이어 간 저랭크(low-rank) 키 압축을 결합합니다. 기본 가중치는 변경하지 않으며, 예측기는 메타 학습으로 초기화하여 프리필(prefill) 오버헤드를 줄일 수 있습니다. 저자들은 값 캐시를 거의 손실 없이 4배 압축할 수 있으며, 4배 압축 시 최대 디코딩 처리량이 5배까지 향상된다고 주장합니다. 양자화 및 토큰 제거 기법을 결합하면 긴 컨텍스트에서 26.9배 압축을 달성하면서도 기준 성능의 94.5%을 유지합니다.
왜 중요한가 긴 컨텍스트 추론의 메모리는 주로 KV 캐시가 차지합니다. 이 방법은 기본 가중치를 변경하지 않으며, 기존 양자화 및 토큰 제거 기법과 결합하여 사용할 수 있습니다
좋아요 10 · 코드 스타 수 1
이유
- 긴 컨텍스트 배포 환경의 메모리 및 처리량 병목 현상을 해결하며, 양자화 및 토큰 제거 기법과 상호 보완적인 방향이므로 함께 사용할 수 있습니다
- 저장소에는 Transformers 호환 CompressedCache 구현체, Llama-3.1-8B 및 Mistral-7B용 예측기 체크포인트, 그리고 실행 가능한 예제가 포함되어 있습니다
- README에는 각 결과가 서로 다른 실험 설정에서 나왔으며, 하나의 설정으로 혼합하여 홍보하지 않았다고 명시되어 있습니다
사용법
- 코드: https://github.com/lowram-model/lowram;预测器检查点随仓库用 Git LFS로 다운로드(git lfs pull)
- 먼저 python -m examples.lowram_demo --method fast와 --method baseline을 사용하여 비교합니다. 자신의 코드에서는 CompressedCache를 past_key_values로 model.generate에 전달합니다
리스크
- 현재 Llama 및 Mistral 아키텍처만 지원하며, 기본값인 Llama-3.1-8B-Instruct는 Hugging Face에서 접근 권한을 먼저 신청해야 합니다
- README에는 처리량 향상이 서로 다른 배치 크기에서의 최대값 비교이며, 작은 배치 크기에서는 압축하지 않은 기준 모델이 더 빠르다고 설명되어 있습니다
- 프리필 단계에서 예측기를 적합해야 하므로 추가 오버헤드가 발생합니다. 이 항목은 실행되지 않았습니다
열기 · 코드 · Hugging Face 논문 페이지