Tựa đề gốc: Các nhà nghiên cứu của Nvidia lập luận rằng cửa sổ ngữ cảnh AI khổng lồ là một ngõ cụt
Theo The Decoder, nhóm nghiên cứu của Nvidia đã công bố bài báo có tựa đề “You don't need long context” (Bạn không cần ngữ cảnh dài), cho rằng các mô hình ngôn ngữ thường không sử dụng hết cửa sổ ngữ cảnh đầy đủ: ngữ cảnh dài khiến tốc độ chậm, chi phí cao và dễ mắc lỗi. Bài báo chỉ ra rằng chi phí tạo ra các token càng về sau càng tăng, với mức chênh lệch có thể lên tới 7 lần ở các mô hình mã nguồn mở hàng đầu; bằng cách nén ngữ cảnh thường xuyên (tóm tắt định kỳ, truy xuất theo từ khóa), các mô hình hàng đầu vẫn duy trì ngữ cảnh ngắn trên nhiều tác vụ dài hạn và tác vụ đầu vào dài mà hầu như không giảm độ chính xác. Ngay cả khi mỗi ngữ cảnh chỉ thực hiện tối đa một bước thao tác, hiệu suất của mô hình trong các tác vụ kỹ thuật phần mềm dài hạn vẫn không bị suy giảm nghiêm trọng, từ đó các tác giả đề xuất khái niệm “mô hình không gian trạng thái ngữ nghĩa” (semantic state space model) sử dụng các ghi chú ngắn gọn thay vì ngữ cảnh dài.
Tại sao quan trọng Ngữ cảnh càng dài, các token về sau càng đắt đỏ; nếu việc tóm tắt định kỳ kết hợp với truy xuất theo nhu cầu là đủ, chi phí suy luận của các tác nhân AI có thể giảm đáng kể.
Độ tin cậy: Cao · Nguồn: Bài báo trên arXiv và 2 nguồn khác (bao gồm nguồn chính thức) · Thời gian sự kiện 11-22 00:23 (giờ Bắc Kinh)
Lý do
- Các nhà nghiên cứu của Nvidia công bố báo cáo kỹ thuật trên arXiv
- Tin tức từ The Decoder
Cách sử dụng
- Có thể đọc toàn văn bài báo trên arXiv (2611.05306)
Rủi ro
- Theo báo cáo của AlphaSignal về bài nghiên cứu, hiệu suất của một số mô hình giảm rõ rệt sau khi nén, ví dụ Qwen 3 Coder Next giảm điểm SWE-bench Verified từ 53% xuống 3.6% khi bị giới hạn ở 16K
- Việc nén dữ liệu làm mất hiệu lực bộ nhớ đệm prompt, khiến tổng chi phí khi gọi API mã nguồn đóng có thể tăng ngược lại