原題:Late Entry in Looped Language Models
ループ型言語モデルは、同じ層のセットを各トークンについてT回繰り返して実行し、パラメータ数を抑えつつより深い推論を実現するが、反復回数はそのままトークン単位のデコード遅延に直結する。一般的な早期終了(early exit)は最初の数回だけを実行するため、過去トークンのKVキャッシュも浅い層のものしか持たない。本論文では逆に「Late Entry(遅延進入)」を提案する。新しいトークンは最初の反復をスキップして最後のK回だけを実行するが、参照するコンテキストキャッシュは完全な深さを持つ。入口での隠れ状態のノルム不一致を軽量な微調整で解決した後、Late Entryはあらゆるモデルおよび反復回数予算において、同等の早期終了手法を上回る性能を示した。深いキャッシュの補完による停止を避けるため、確定済みのトークンは後続ステップで残りの反復をすべて完了させ、既存の出力行列積の中で「ウェイクアップ検証(wake verification)」を行う。許容誤差が 0 の場合は、完全な深さの貪欲デコードと一文字単位で一致し、許容誤差が無限大の場合はロールバックを行わず、最も高速に動作する。論文では、Ouro-2.6B において厳密な等価モードで 5.2 倍の高速化、Huginn-3.5B において 64 回の反復時に 8.4 倍の高速化を達成したと報告されている。
なぜ重要か ループ型モデルの推論深度はトークン単位の遅延に直結するが、著者らは任意で選択可能な厳密な等価モードを提供しており、出力は完全な深さの貪欲デコードと一致しつつ、数倍の高速化を実現している
いいね 9 · コードのスター数 1
理由
- 5 個のチェックポイントを公開:Ouro-2.6B、Ouro-1.4B、Huginn-3.5B の Late Entry バージョン、および対照実験用の早期終了バージョン。コードは MIT ライセンス
- SGLang 0.5.14 プラグインとマルチリクエスト連続バッチ実行器を同梱。README によると、単一の H100 GPU 上で Huginn-3.5B のデモがネイティブの完全深度デコードより 8.5 倍高速であり、かつ回答内容は一致する
- GPU を必要とせず、約 45 秒で完了する CPU 等価性テストが含まれており、「一文字単位で一致」という主張を事前に検証できる
使い方
- コード:https://github.com/Xalp/LateComer;权重合集:https://huggingface.co/collections/Xalphinions/late-entry
- pip install -r requirements.txt;python tests/run_all_cpu_tests.py で CPU 等価性テストを実行;Ouro は wake_verify/run_ouro_wake.py、Huginn は python -m wake_verify.hg_wake を使用して論文の表を再現
リスク
- Ouro や Huginn といったループ型(層共有)言語モデルにのみ適用可能であり、通常の Transformer には適用できない。また、事前に2段階の微調整が必要
- ロールバックを行わない非可逆モードでは精度が低下する(README:Ouro-2.6B において GSM8K で 0.868 から 0.842 に低下)。速度測定はすべて単一の H100 上で行われており、本記事では実行していない
開く · コード · 抱きしめたい論文ページ