Tiêu đề gốc: LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Trong quá trình giải mã ngữ cảnh dài, bộ nhớ đệm KV tăng tuyến tính theo độ dài, làm hạn chế kích thước lô và thông lượng. LowRAM phát hiện ra rằng phần lớn các giá trị trong cùng một đầu chú ý có thể được dự đoán từ các khóa tương ứng, do đó trong quá trình suy luận, nó khớp một bộ dự đoán nhỏ cho mỗi đầu, chỉ lưu trữ phần dư cho các token có dự đoán kém nhất, đồng thời kết hợp với việc nén khóa hạng thấp xuyên lớp; trọng số cơ bản không thay đổi, và bộ dự đoán có thể được khởi tạo bằng học siêu (meta-learning) để giảm chi phí giai đoạn tiền xử lý (prefill). Các tác giả tuyên bố rằng bộ nhớ đệm giá trị có thể được nén gần như không mất mát 4 lần, thông lượng giải mã đỉnh cao tăng tối đa 5 lần khi nén 4 lần, và khi kết hợp với lượng tử hóa và loại bỏ token, đạt mức nén 26.9 lần trên ngữ cảnh dài trong khi vẫn giữ được 94.5% hiệu suất cơ bản.
Tại sao quan trọng Bộ nhớ đệm KV chiếm phần lớn bộ nhớ VRAM trong suy luận ngữ cảnh dài; phương pháp này không thay đổi trọng số cơ bản và có thể kết hợp với các giải pháp lượng tử hóa và loại bỏ token hiện có
Lượt thích 10 · Số sao mã nguồn 1
Lý do
- Giải quyết nút thắt về bộ nhớ VRAM và thông lượng trong triển khai ngữ cảnh dài, là hướng bổ sung cho lượng tử hóa và loại bỏ token, có thể sử dụng kết hợp
- Kho lưu trữ cung cấp triển khai CompressedCache tương thích với Transformers, các điểm kiểm tra (checkpoint) bộ dự đoán cho Llama-3.1-8B và Mistral-7B cùng các ví dụ có thể chạy được
- README ghi rõ rằng các kết quả khác nhau đến từ các thiết lập thí nghiệm khác nhau, không bị trộn lẫn vào một cấu hình duy nhất để quảng bá
Cách sử dụng
- Mã nguồn: Tải xuống qua Git LFS (git lfs pull) https://github.com/lowram-model/lowram;预测器检查点随仓库用
- Trước tiên hãy so sánh bằng cách chạy python -m examples.lowram_demo --method fast và --method baseline; trong mã nguồn của bạn, truyền CompressedCache làm past_key_values cho model.generate
Rủi ro
- Hiện tại chỉ hỗ trợ kiến trúc Llama và Mistral, mô hình mặc định Llama-3.1-8B-Instruct yêu cầu phải đăng ký quyền truy cập trên Hugging Face trước
- README giải thích rằng mức tăng thông lượng là so sánh đỉnh cao ở các kích thước lô khác nhau, với lô nhỏ thì cơ bản không nén sẽ nhanh hơn
- Giai đoạn tiền xử lý (prefill) cần khớp bộ dự đoán nên có chi phí bổ sung; mục này chưa được chạy thử