Оригинальное название: RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill
При предзаполнении длинных запросов каждый слой обычно вычисляется полностью. RidgeFill выполняет полное вычисление только нижних слоёв до определённого граничного слоя, а затем использует регрессионное отображение Риджа для каждого слоя, чтобы предсказать входные данные верхних слоёв на основе состояния граничного слоя; это позволяет верхним слоям напрямую записывать данные в кэш. Отображения калибруются один раз с помощью закрытой формулы на одном тексте-калибраторе: обучение не требуется, токены не теряются, при этом указанные строки, последние несколько тысяч токенов запроса и все шаги декодирования по-прежнему проходят через полную модель. Идея заимствована из проекций, встроенных в модели YOCO и DeepSeek-V4.1-Flash, но RidgeFill адаптирует этот подход для моделей, не обученных с такой архитектурой. Авторы сообщают, что для Qwen3.8-27B в форке llama.cpp на одном графическом процессоре A100 время до первого токена (TTFT) для запросов длиной 16K–120K токенов сокращается в 1.25–1.31 раз, а результаты в тестах RULER и LongBench v2 снижаются на 1.2–1.4 баллов; для Qwen3.8-Flash-Next в среде vLLM ускорение составляет 1.50–1.60 раз.
Почему это важно Сокращение времени ожидания первого токена для длинных контекстов без изменения модели и без обучения; форк llama.cpp и файлы отображений доступны для скачивания
Лайков: 2 · Звёзд на GitHub: 0
Обоснование
- Решение направлено на снижение задержки первого токена при развёртывании длинных контекстов, что отличается от подходов квантования KV-кэша или отбрасывания токенов
- Все выводы можно воспроизвести с помощью данных из репозитория: каждому числу соответствуют скрипты и файлы, а журналы выполнения содержат цепочки хэшей
- Файлы отображений для Qwen3.8-27B, Qwen3.8-Flash-Next и трёх эталонных моделей размером 8–9B размещены в организации TheCacheIsALie на платформе Hugging Face
Использование
- Данные и код: форк llama.cpp https://github.com/Approximate-Science/ridgefill-data;推理用 Approximate-Science/llama.cpp-ridgefill
- Для проверки результатов: выполните bash recompute/run_all.sh, затем сравните результаты с помощью recompute/gate.py; требуются только Python и numpy
Риски
- Авторы отмечают, что хотя 95%-й доверительный интервал для снижения качества 95% включает ноль, нельзя исключить потерю нескольких баллов
- Исходный код форка vLLM, использованного для Flash-Next, не опубликован, доступен только публичный зеркальный репозиторий; основной репозиторий содержит данные и скрипты воспроизведения
- Статья опубликована на Zenodo; отдельные числовые значения в аннотации на arXiv и в README не совпадают; в данном обзоре тестирование не проводилось