Tiêu đề gốc: Late Entry in Looped Language Models
Mô hình ngôn ngữ vòng lặp chạy lại cùng một nhóm lớp T lần cho mỗi token, đổi lấy khả năng suy luận sâu hơn với ít tham số hơn, nhưng số lần lặp trực tiếp làm tăng độ trễ giải mã từng từ. Các phương pháp thoát sớm phổ biến chỉ chạy vài lần đầu tiên và bộ nhớ đệm KV của các token trước đó cũng chỉ ở các lớp nông. Bài báo này thực hiện ngược lại với cơ chế "vào muộn" (Late Entry): token mới bỏ qua các lần lặp đầu, chỉ đi qua K lần cuối cùng, nhưng xem xét bộ nhớ đệm ngữ cảnh đầy đủ độ sâu; sau khi tinh chỉnh nhẹ để giải quyết sự không khớp về chuẩn của trạng thái ẩn tại điểm vào, phương pháp vào muộn vượt trội hơn so với thoát sớm tương đương trên mọi mô hình và ngân sách số lần lặp. Để tránh bị chậm do phải bổ sung bộ nhớ đệm sâu, các token đã được cam kết sẽ chạy hết tất cả các lần lặp trong các bước tiếp theo, sau đó thực hiện "kiểm tra đánh thức" (wake verification) trong phép nhân ma trận đầu ra gốc: với dung sai là 0, kết quả khớp từng chữ với giải mã tham lam đầy đủ độ sâu; khi dung sai vô cùng, không có hoàn tác và tốc độ nhanh nhất. Bài báo tuyên bố rằng chế độ tương đương nghiêm ngặt trên Ouro-2.6B tăng tốc 5.2 lần, và Huginn-3.5B tăng tốc 8.4 lần khi chạy 64 lần lặp.
Tại sao quan trọng Độ sâu suy luận của mô hình vòng lặp trực tiếp chuyển thành độ trễ từng từ; các tác giả cung cấp một chế độ tương đương nghiêm ngặt tùy chọn, trong đó đầu ra khớp với giải mã tham lam đầy đủ độ sâu, đồng thời tăng tốc gấp nhiều lần
Thích 9 · Số sao trên GitHub 1
Lý do
- Phát hành 5 điểm kiểm tra (checkpoint): phiên bản vào muộn của Ouro-2.6B, Ouro-1.4B, Huginn-3.5B, cùng với phiên bản thoát sớm để đối chiếu, mã nguồn theo giấy phép MIT
- Kèm theo plugin SGLang 0.5.14 và bộ thực thi xử lý lô liên tục cho nhiều yêu cầu; README tuyên bố rằng trên một card H100, demo của Huginn-3.5B nhanh hơn 8.5 lần so với giải mã đầy đủ độ sâu gốc và cho ra câu trả lời giống hệt
- Có bài kiểm tra tương đương chạy trên CPU, không cần GPU, hoàn thành trong khoảng 45 giây, giúp bạn có thể xác minh trước tuyên bố "khớp từng chữ"
Cách sử dụng
- Mã nguồn: https://github.com/Xalp/LateComer;权重合集:https://huggingface.co/collections/Xalphinions/late-entry
- pip install -r requirements.txt; python tests/run_all_cpu_tests.py để chạy bài kiểm tra tương đương trên CPU; dùng wake_verify/run_ouro_wake.py cho Ouro và python -m wake_verify.hg_wake cho Huginn để tái tạo các bảng trong bài báo
Rủi ro
- Chỉ áp dụng cho các mô hình ngôn ngữ vòng lặp (chia sẻ lớp) như Ouro, Huginn, không áp dụng cho Transformer thông thường và yêu cầu phải thực hiện tinh chỉnh hai giai đoạn trước
- Chế độ có tổn hao không hoàn tác sẽ làm giảm độ chính xác (README: Ouro-2.6B trên GSM8K giảm từ 0.868 xuống 0.842); các phép đo tốc độ đều được thực hiện trên một card H100, mục này chưa được chạy thử