원제: Late Entry in Looped Language Models
루프형 언어 모델은 동일한 레이어 그룹을 각 토큰마다 T번 반복 실행하여 적은 파라미터로 더 깊은 추론을 수행하지만, 반복 횟수가 곧 토큰 단위 디코딩 지연으로 직결됩니다. 일반적인 조기 종료(early exit) 방식은 앞부분의 몇 번만 실행하므로 과거 토큰의 KV 캐시도 얕은 레이어만 포함합니다. 이 논문은 반대로 '늦은 진입(late entry)' 방식을 제안합니다. 새 토큰은 앞부분의 반복 횟수를 건너뛰고 마지막 K번만 실행하되, 전체 깊이의 컨텍스트 캐시를 참조합니다. 진입 지점에서의 은닉 상태 노름(norm) 불일치를 경량 미세 조정을 통해 해결하면, 늦은 진입 방식은 다양한 모델과 반복 횟수 예산 하에서 동등한 조기 종료 방식보다 우수한 성능을 보입니다. 깊은 캐시 보충을 위해 대기하는 시간을 없애기 위해, 이미 확정된 토큰들은 후속 단계에서 전체 반복 횟수를 순차적으로 실행하며, 기존 출력 행렬 곱셈 과정에서 '깨우기 검증(wake verification)'을 수행합니다. 허용 오차가 0일 경우 전체 깊이 탐욕 디코딩과 문자 단위로 일치하며, 허용 오차가 무한대일 경우 롤백하지 않아 가장 빠른 속도를 냅니다. 논문은 Ouro-2.6B 모델에서 엄격한 동등성 모드(strict equivalence mode)로 5.2배의 속도 향상을, Huginn-3.5B 모델에서 64번 반복 시 8.4배의 속도 향상을 달성했다고 보고합니다.
왜 중요한가 루프형 모델의 추론 깊이는 곧 토큰 단위 지연으로 이어지는데, 저자들은 출력 결과가 전체 깊이 탐욕 디코딩과 일치하면서도 속도를 수 배 높일 수 있는 선택적 엄격한 동등성 모드를 제시했습니다
좋아요 9 · 코드 스타 수 1
이유
- 5개의 체크포인트 공개: Ouro-2.6B, Ouro-1.4B, Huginn-3.5B의 늦은 진입 버전 및 비교용 조기 종료 버전, 코드는 MIT 라이선스
- SGLang 0.5.14 플러그인 및 다중 요청 연속 배치 실행기 포함; README에 따르면 단일 H100 GPU에서 Huginn-3.5B 데모가 네이티브 전체 깊이 디코딩보다 8.5배 빠르며 답변이 일치한다고 함
- GPU가 필요 없고 약 45초 만에 완료되는 CPU 동등성 테스트가 있어 '문자 단위 일치' 주장을 먼저 확인할 수 있음
사용법
- 코드: https://github.com/Xalp/LateComer;权重合集:https://huggingface.co/collections/Xalphinions/late-entry
- pip install -r requirements.txt; python tests/run_all_cpu_tests.py로 CPU 동등성 테스트 실행; Ouro는 wake_verify/run_ouro_wake.py, Huginn은 python -m wake_verify.hg_wake를 사용하여 논문 표 재현
리스크
- Ouro, Huginn과 같은 루프형(레이어 공유) 언어 모델에만 적용 가능하며, 일반 Transformer에는 적용되지 않고 2단계 미세 조정이 선행되어야 함
- 롤백하지 않는 손실(lossy) 모드에서는 정확도가 하락함(README: Ouro-2.6B의 GSM8K 점수가 0.868에서 0.842로 하락); 속도 측정은 모두 단일 H100에서 수행되었으며, 본 항목에서는 실행하지 않음