RidgeFill: Обучение не требуется, вычисление верхних слоёв пропускается для ускорения предзаполнения длинных запросов

При предзаполнении длинных запросов каждый слой обычно вычисляется полностью. RidgeFill выполняет полное вычисление только нижних слоёв до определённого граничного слоя, а затем использует регрессионное отображение Риджа для каждого слоя, чтобы предсказать входные данные верхних слоёв на основе состояния граничного слоя; это позволяет верхним слоям напрямую записывать данные в кэш. Отображения калибруются один раз с помощью закрытой формулы на одном тексте-калибраторе: обучение не требуется, токены не теряются, при этом указанные строки, последние несколько тысяч токенов запроса и все шаги декодирования по-прежнему проходят через полную модель. Идея заимствована из проекций, встроенных в модели YOCO и DeepSeek-V4.1-Flash, но RidgeFill адаптирует этот подход для моделей, не обученных с такой архитектурой. Авторы сообщают, что для Qwen3.8-27B в форке llama.cpp на одном графическом процессоре A100 время до первого токена (TTFT) для запросов длиной 16K–120K токенов сокращается в 1.25–1.31 раз, а результаты в тестах RULER и LongBench v2 снижаются на 1.2–1.4 баллов; для Qwen3.8-Flash-Next в среде vLLM ускорение составляет 1.50–1.60 раз.

Оригинальное название: RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill

При предзаполнении длинных запросов каждый слой обычно вычисляется полностью. RidgeFill выполняет полное вычисление только нижних слоёв до определённого граничного слоя, а затем использует регрессионное отображение Риджа для каждого слоя, чтобы предсказать входные данные верхних слоёв на основе состояния граничного слоя; это позволяет верхним слоям напрямую записывать данные в кэш. Отображения калибруются один раз с помощью закрытой формулы на одном тексте-калибраторе: обучение не требуется, токены не теряются, при этом указанные строки, последние несколько тысяч токенов запроса и все шаги декодирования по-прежнему проходят через полную модель. Идея заимствована из проекций, встроенных в модели YOCO и DeepSeek-V4.1-Flash, но RidgeFill адаптирует этот подход для моделей, не обученных с такой архитектурой. Авторы сообщают, что для Qwen3.8-27B в форке llama.cpp на одном графическом процессоре A100 время до первого токена (TTFT) для запросов длиной 16K–120K токенов сокращается в 1.25–1.31 раз, а результаты в тестах RULER и LongBench v2 снижаются на 1.2–1.4 баллов; для Qwen3.8-Flash-Next в среде vLLM ускорение составляет 1.50–1.60 раз.

Почему это важно Сокращение времени ожидания первого токена для длинных контекстов без изменения модели и без обучения; форк llama.cpp и файлы отображений доступны для скачивания

Лайков: 2 · Звёзд на GitHub: 0

Обоснование

  • Решение направлено на снижение задержки первого токена при развёртывании длинных контекстов, что отличается от подходов квантования KV-кэша или отбрасывания токенов
  • Все выводы можно воспроизвести с помощью данных из репозитория: каждому числу соответствуют скрипты и файлы, а журналы выполнения содержат цепочки хэшей
  • Файлы отображений для Qwen3.8-27B, Qwen3.8-Flash-Next и трёх эталонных моделей размером 8–9B размещены в организации TheCacheIsALie на платформе Hugging Face

Использование

  • Данные и код: форк llama.cpp https://github.com/Approximate-Science/ridgefill-data;推理用 Approximate-Science/llama.cpp-ridgefill
  • Для проверки результатов: выполните bash recompute/run_all.sh, затем сравните результаты с помощью recompute/gate.py; требуются только Python и numpy

Риски

  • Авторы отмечают, что хотя 95%-й доверительный интервал для снижения качества 95% включает ноль, нельзя исключить потерю нескольких баллов
  • Исходный код форка vLLM, использованного для Flash-Next, не опубликован, доступен только публичный зеркальный репозиторий; основной репозиторий содержит данные и скрипты воспроизведения
  • Статья опубликована на Zenodo; отдельные числовые значения в аннотации на arXiv и в README не совпадают; в данном обзоре тестирование не проводилось

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ