Поздний вход: заставьте циклические языковые модели делать меньше итераций

Циклические языковые модели повторяют один и тот же набор слоев T раз для каждого токена, обменивая меньшее количество параметров на более глубокое рассуждение, однако число итераций напрямую превращается в задержку посимвольного декодирования. Распространенные методы раннего выхода выполняют только первые несколько итераций, а кэш KV для прошлых токенов содержит лишь неглубокие слои. В статье предлагается обратный подход — «поздний вход»: новые токены пропускают предыдущие итерации и проходят только последние K, но используют контекстный кэш полной глубины; после легкой дообучения, устраняющей несоответствие норм скрытых состояний на входе, метод позднего входа превосходит эквивалентный ранний выход на всех моделях и при любых бюджетах итераций. Чтобы не останавливаться на заполнении глубокого кэша, уже зафиксированные токены в последующих шагах проходят все итерации «попутно», а затем в исходной матричной операции вывода выполняется «проверка пробуждения»: при допуске 0 результат посимвольно совпадает с жадным декодированием полной глубины, а при бесконечном допуске откат не выполняется, что обеспечивает максимальную скорость. В статье утверждается, что на модели Ouro-2.6B строгий режим эквивалентности ускоряет работу в 5.2 раз, а Huginn-3.5B при 64 итерациях ускоряется в 8.4 раз.

Оригинальное название: Late Entry in Looped Language Models

Циклические языковые модели повторяют один и тот же набор слоев T раз для каждого токена, обменивая меньшее количество параметров на более глубокое рассуждение, однако число итераций напрямую превращается в задержку посимвольного декодирования. Распространенные методы раннего выхода выполняют только первые несколько итераций, а кэш KV для прошлых токенов содержит лишь неглубокие слои. В статье предлагается обратный подход — «поздний вход»: новые токены пропускают предыдущие итерации и проходят только последние K, но используют контекстный кэш полной глубины; после легкой дообучения, устраняющей несоответствие норм скрытых состояний на входе, метод позднего входа превосходит эквивалентный ранний выход на всех моделях и при любых бюджетах итераций. Чтобы не останавливаться на заполнении глубокого кэша, уже зафиксированные токены в последующих шагах проходят все итерации «попутно», а затем в исходной матричной операции вывода выполняется «проверка пробуждения»: при допуске 0 результат посимвольно совпадает с жадным декодированием полной глубины, а при бесконечном допуске откат не выполняется, что обеспечивает максимальную скорость. В статье утверждается, что на модели Ouro-2.6B строгий режим эквивалентности ускоряет работу в 5.2 раз, а Huginn-3.5B при 64 итерациях ускоряется в 8.4 раз.

Почему это важно Глубина рассуждения циклических моделей напрямую превращается в задержку посимвольного декодирования; авторы предлагают опциональный строгий режим эквивалентности, при котором вывод совпадает с жадным декодированием полной глубины, обеспечивая при этом ускорение в несколько раз

Лайки 9 · Звезды на GitHub 1

Причины

  • Выпущено 5 чекпоинтов: версии с поздним входом для Ouro-2.6B, Ouro-1.4B и Huginn-3.5B, а также контрольные версии с ранним выходом; код под лицензией MIT
  • Прилагается плагин SGLang 0.5.14 и исполнитель непрерывной пакетной обработки для нескольких запросов; в README указано, что на одной карте H100 демонстрация Huginn-3.5B работает в 8.5 раз быстрее нативного декодирования полной глубины с идентичными ответами
  • Доступен тест эквивалентности на CPU, не требующий видеокарты и занимающий около 45 секунд, позволяющий заранее проверить утверждение о «посимвольном совпадении»

Использование

  • Код: https://github.com/Xalp/LateComer;权重合集:https://huggingface.co/collections/Xalphinions/late-entry
  • pip install -r requirements.txt; python tests/run_all_cpu_tests.py для запуска тестов эквивалентности на CPU; для Ouro используйте wake_verify/run_ouro_wake.py, для Huginn — python -m wake_verify.hg_wake для воспроизведения таблиц из статьи

Риски

  • Метод применим только к циклическим (с общими слоями) языковым моделям, таким как Ouro и Huginn, не работает для обычных трансформеров и требует предварительного двухэтапного дообучения
  • В режиме с потерями без отката точность снижается (в README: для Ouro-2.6B на GSM8K точность падает с 0.868 до 0.842); все измерения скорости проводились на одной карте H100, в данном обзоре тесты не запускались

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ