Оригинальное название: Nvidia researchers argue huge AI context windows are a dead end
По данным The Decoder, исследовательская команда NVIDIA опубликовала статью «You don't need long context», в которой утверждается, что языковые модели часто не используют весь контекстный контекст: длинные контексты работают медленно, дорого и склонны к ошибкам. В статье отмечается, что стоимость генерации токенов возрастает по мере продвижения к концу последовательности, и в передовых моделях с открытыми весами разница может достигать 7 раз; за счет частого сжатия контекста (регулярное суммирование, поиск по ключевым словам) передовые модели сохраняют короткий контекст в ряде задач с длительной зависимостью и задач с длинным входом, практически не теряя в точности. Даже если в каждом контексте выполняется не более одного шага, производительность моделей в задачах разработки ПО с длительной зависимостью не падает, на основании чего авторы выдвигают идею «семантических моделей с пространством состояний», заменяющих длинные контексты краткими заметками.
Почему это важно Чем длиннее контекст, тем дороже обходятся последующие токены; если регулярного суммирования и выборочного извлечения достаточно, затраты на рассуждения агентов могут значительно снизиться.
Достоверность: Высокая достоверность · Источник: статья на arXiv и еще 2 источников (включая официальные) · Время события: 11-22 00:23 (пекинское время)
Обоснование
- Исследователи NVIDIA опубликовали технический отчет на arXiv
- Репортаж The Decoder
Использование
- Полный текст статьи доступен на arXiv (2611.05306)
Риски
- Согласно репортажу AlphaSignal о статье, у некоторых моделей после сжатия производительность заметно снижается, например, у Qwen 3 Coder Next при ограничении в 16K результат на SWE-bench Verified упал с 53% до 3.6%
- Сжатие приводит к невалидности кэша промптов, и при вызовах закрытых API общие затраты могут, наоборот, вырасти