RidgeFill: Không cần huấn luyện, bỏ qua tính toán ở các lớp trên để tăng tốc độ tiền xử lý (prefill) cho prompt dài

Việc tiền xử lý (prefill) các prompt dài đòi hỏi phải tính toán đầy đủ từng lớp. RidgeFill chỉ tính toán đầy đủ các lớp dưới cho đến một lớp phân giới, sau đó sử dụng một ánh xạ hồi quy ridge cho mỗi lớp để dự đoán đầu vào của các lớp phía trên từ trạng thái của lớp phân giới, cho phép các lớp trên ghi trực tiếp vào bộ nhớ đệm dựa trên đó; ánh xạ này được khớp bằng công thức đóng một lần duy nhất sử dụng một đoạn văn bản hiệu chuẩn, không cần huấn luyện, không làm mất token, các hàng được chỉ định, vài nghìn token cuối cùng của prompt và tất cả các bước giải mã vẫn chạy mô hình đầy đủ. Ý tưởng này bắt nguồn từ các phép chiếu được huấn luyện trong mô hình YOCO và DeepSeek-V4.1-Flash, RidgeFill điều chỉnh phương pháp này để áp dụng cho các mô hình chưa được huấn luyện với cấu trúc như vậy. Các tác giả tuyên bố rằng Qwen3.8-27B trên nhánh llama.cpp, với một card A100, có thời gian phản hồi đầu tiên (TTFT) nhanh hơn 1.25–1.31 lần cho các prompt từ 16K–120K token, trong khi điểm số trên RULER và LongBench v2 giảm 1.2–1.4 điểm; Qwen3.8-Flash-Next trên vLLM nhanh hơn 1.50–1.60 lần.

Tựa đề gốc: RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill

Việc tiền xử lý (prefill) các prompt dài đòi hỏi phải tính toán đầy đủ từng lớp. RidgeFill chỉ tính toán đầy đủ các lớp dưới cho đến một lớp phân giới, sau đó sử dụng một ánh xạ hồi quy ridge cho mỗi lớp để dự đoán đầu vào của các lớp phía trên từ trạng thái của lớp phân giới, cho phép các lớp trên ghi trực tiếp vào bộ nhớ đệm dựa trên đó; ánh xạ này được khớp bằng công thức đóng một lần duy nhất sử dụng một đoạn văn bản hiệu chuẩn, không cần huấn luyện, không làm mất token, các hàng được chỉ định, vài nghìn token cuối cùng của prompt và tất cả các bước giải mã vẫn chạy mô hình đầy đủ. Ý tưởng này bắt nguồn từ các phép chiếu được huấn luyện trong mô hình YOCO và DeepSeek-V4.1-Flash, RidgeFill điều chỉnh phương pháp này để áp dụng cho các mô hình chưa được huấn luyện với cấu trúc như vậy. Các tác giả tuyên bố rằng Qwen3.8-27B trên nhánh llama.cpp, với một card A100, có thời gian phản hồi đầu tiên (TTFT) nhanh hơn 1.25–1.31 lần cho các prompt từ 16K–120K token, trong khi điểm số trên RULER và LongBench v2 giảm 1.2–1.4 điểm; Qwen3.8-Flash-Next trên vLLM nhanh hơn 1.50–1.60 lần.

Tại sao quan trọng Giảm thời gian chờ phản hồi đầu tiên cho ngữ cảnh dài mà không cần thay đổi mô hình hay huấn luyện, cả nhánh llama.cpp và các tệp ánh xạ đều có thể tải xuống

Lượt thích 2 · Số sao mã nguồn 0

Lý do

  • Tập trung vào độ trễ phản hồi đầu tiên khi triển khai ngữ cảnh dài, khác biệt so với các phương pháp như lượng tử hóa KV hay loại bỏ token
  • Tất cả các kết luận đều có thể được tính toán lại bằng dữ liệu từ kho lưu trữ: mỗi con số đều tương ứng với một tập lệnh và tệp, các bản ghi chạy có kèm theo chuỗi băm
  • Các tệp ánh xạ cho Qwen3.8-27B, Qwen3.8-Flash-Next và ba mô hình tham chiếu 8–9B đã được đặt trong tổ chức TheCacheIsALie trên Hugging Face

Cách sử dụng

  • Dữ liệu và mã nguồn: https://github.com/Approximate-Science/ridgefill-data;推理用 nhánh llama.cpp Approximate-Science/llama.cpp-ridgefill
  • Chỉ muốn xác minh kết luận: chạy bash recompute/run_all.sh rồi so sánh bằng recompute/gate.py, chỉ cần Python và numpy

Rủi ro

  • Các tác giả lưu ý rằng khoảng tin cậy 95% cho sự suy giảm chất lượng, mặc dù bao gồm số không, nhưng không loại trừ khả năng mất vài điểm
  • Mã nguồn của nhánh vLLM được sử dụng cho Flash-Next chưa được công khai, chỉ có bản sao lưu công khai; kho lưu trữ chủ yếu chứa dữ liệu và tập lệnh tái tạo
  • Bài báo được đăng trên Zenodo, có sự không nhất quán giữa tóm tắt trên arXiv và một số con số trong README; bài viết này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất