Исследователи NVIDIA утверждают, что сверхдлинные контексты чаще всего не нужны

По данным The Decoder, исследовательская команда NVIDIA опубликовала статью «You don't need long context», в которой утверждается, что языковые модели часто не используют весь контекстный контекст: длинные контексты работают медленно, дорого и склонны к ошибкам. В статье отмечается, что стоимость генерации токенов возрастает по мере продвижения к концу последовательности, и в передовых моделях с открытыми весами разница может достигать 7 раз; за счет частого сжатия контекста (регулярное суммирование, поиск по ключевым словам) передовые модели сохраняют короткий контекст в ряде задач с длительной зависимостью и задач с длинным входом, практически не теряя в точности. Даже если в каждом контексте выполняется не более одного шага, производительность моделей в задачах разработки ПО с длительной зависимостью не падает, на основании чего авторы выдвигают идею «семантических моделей с пространством состояний», заменяющих длинные контексты краткими заметками.

Оригинальное название: Nvidia researchers argue huge AI context windows are a dead end

По данным The Decoder, исследовательская команда NVIDIA опубликовала статью «You don't need long context», в которой утверждается, что языковые модели часто не используют весь контекстный контекст: длинные контексты работают медленно, дорого и склонны к ошибкам. В статье отмечается, что стоимость генерации токенов возрастает по мере продвижения к концу последовательности, и в передовых моделях с открытыми весами разница может достигать 7 раз; за счет частого сжатия контекста (регулярное суммирование, поиск по ключевым словам) передовые модели сохраняют короткий контекст в ряде задач с длительной зависимостью и задач с длинным входом, практически не теряя в точности. Даже если в каждом контексте выполняется не более одного шага, производительность моделей в задачах разработки ПО с длительной зависимостью не падает, на основании чего авторы выдвигают идею «семантических моделей с пространством состояний», заменяющих длинные контексты краткими заметками.

Почему это важно Чем длиннее контекст, тем дороже обходятся последующие токены; если регулярного суммирования и выборочного извлечения достаточно, затраты на рассуждения агентов могут значительно снизиться.

Достоверность: Высокая достоверность · Источник: статья на arXiv и еще 2 источников (включая официальные) · Время события: 11-22 00:23 (пекинское время)

Обоснование

  • Исследователи NVIDIA опубликовали технический отчет на arXiv
  • Репортаж The Decoder

Использование

  • Полный текст статьи доступен на arXiv (2611.05306)

Риски

  • Согласно репортажу AlphaSignal о статье, у некоторых моделей после сжатия производительность заметно снижается, например, у Qwen 3 Coder Next при ограничении в 16K результат на SWE-bench Verified упал с 53% до 3.6%
  • Сжатие приводит к невалидности кэша промптов, и при вызовах закрытых API общие затраты могут, наоборот, вырасти

Открыть · Статья на arXiv

The Decoder

Открыть последние новости ИИ