원제: RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill
긴 프롬프트의 프리필은 모든 레이어를 완전히 계산해야 합니다. RidgeFill은 하위 레이어만 특정 경계 레이어까지 완전히 계산한 후, 각 레이어마다 하나의 리지 회귀 매핑을 사용하여 경계 레이어의 상태에서 상위 레이어의 입력을 예측하고, 이를 바탕으로 상위 레이어가 캐시에 직접 쓰도록 합니다. 매핑은 하나의 캘리브레이션 텍스트로 한 번에 폐쇄형으로 적합되며, 학습이 필요 없고 토큰을 손실하지 않습니다. 지정된 행, 마지막 수천 개의 프롬프트 토큰 및 모든 디코딩 단계는 여전히 전체 모델을 실행합니다. 이 아이디어는 YOCO와 DeepSeek-V4.1-Flash에서 모델에 학습된 투영에서 유래했으며, RidgeFill은 이러한 구조를 학습하지 않은 모델에 이를 적용합니다. 저자들은 llama.cpp 포크에서 단일 A100 GPU를 사용하는 Qwen3.8-27B 모델이 16K–120K 토큰에서 첫 토큰 생성 시간(TTFT)이 1.25–1.31배 빨라지고, RULER 및 LongBench v2 점수가 1.2–1.4점 감소한다고 주장합니다. 또한 vLLM에서 Qwen3.8-Flash-Next는 1.50–1.60배 더 빠릅니다.
왜 중요한가 모델 수정이나 학습 없이 긴 컨텍스트의 첫 토큰 대기 시간을 단축할 수 있으며, llama.cpp 포크와 매핑 파일을 모두 다운로드할 수 있습니다
좋아요 2 · 코드 스타 수 0
이유
- 긴 컨텍스트 배포의 첫 토큰 지연에 초점을 맞췄으며, KV 양자화나 토큰 제거 등 다른 접근법과 방향이 다릅니다
- 모든 결론은 저장소 데이터로 재계산할 수 있습니다. 각 숫자는 스크립트와 파일에 대응되며, 실행 기록에는 해시 체인이 포함됩니다
- Qwen3.8-27B, Qwen3.8-Flash-Next 및 세 개의 8–9B 참조 모델의 매핑 파일은 Hugging Face의 TheCacheIsALie 조직 아래에 게시되어 있습니다
사용법
- 데이터 및 코드: https://github.com/Approximate-Science/ridgefill-data;推理用 llama.cpp 포크 Approximate-Science/llama.cpp-ridgefill
- 결론만 확인하려면: bash recompute/run_all.sh 실행 후 recompute/gate.py로 비교합니다. Python과 numpy만 필요합니다
리스크
- 저자들은 품질 저하의 95% 신뢰 구간이 0을 포함하지만 몇 점의 손실을 배제할 수 없다고 설명합니다
- Flash-Next에 사용된 vLLM 포크의 소스 코드는 공개되지 않았으며, 공개 미러만 존재합니다. 저장소는 주로 데이터와 재현 스크립트로 구성되어 있습니다
- 논문은 Zenodo에 게시되었으며, arXiv 초록과 README의 일부 숫자가 일치하지 않습니다. 이 항목은 실행되지 않았습니다
열기 · 코드 · Hugging Face 논문 페이지