原題:SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
低ビット量子化により、エージェントはタスク要件や環境条件を無視し、全精度モデルとは異なる軌跡をたどることがある。SteerDistillでは、量子化された学生モデルがエラー発生前の履歴と環境状態から再試行を行い、凍結された全精度教師モデルが実行フィードバックに基づいて指導を繰り返し修正し、そのステップがローカル検証を通過するまで続ける。その後、学生モデルは指導なしで訓練され、修正されたターンでは「指導を受けた後の自分自身」を模倣し、その他のターンでは教師モデルを模倣するため、推論時には教師モデルが不要になる。著者によると、5つのエージェントベンチマークと3つのモデルにおいて、W4A16設定で平均スコアは最強の量子化ベースラインより1.67~2.18ポイント高く、BF16との差は1ポイント未満である。また、τ²-Benchでは成功率がQeRLより1.84パーセントポイント高く、訓練GPU時間は67%少ない。
なぜ重要か 量子化により推論コストを削減できるが、エージェントはタスク要件を見落としがちになる。この手法は大部分の性能低下を回復し、訓練計算資源も強化学習ベースのアプローチより節約できる
いいね 31 · コードスター数 7
理由
- コードは全工程をカバー:データ準備、トリミング・キャリブレーション、量子化モデルのエクスポート、オンライン蒸留および評価。1つのコマンドでQwen3-8BのBFCL V4での例を実行可能
- Qwen3-8B(W4A16、W4A8、W2A16)、Qwen3.5-4B、Gemma 4 12B-itに対応。ベンチマークはBFCL V4、tau2-Bench、WebShop、ALFWorld、Search QA
使い方
- コード:https://github.com/air-embodied-brain/SteerDistill(MIT ライセンス)
- READMEに従って環境をセットアップし、configs/local.envに強化学習後のBF16チェックポイントパスを入力して、bash scripts/run/run_benchmark.sh full --model qwen3_8b --benchmark bfcl_v4を実行。ウェブ検索評価にはSERPAPI_API_KEYの設定が必要
リスク
- 訓練済みの量子化チェックポイントはまだ公開されていない(READMEでTODOと記載)。強化学習後のBF16モデルから自分で訓練する必要がある
- 参考の訓練設定は8枚のA100 80GBであり、別途推論およびベンチマーク環境が必要
- 成績は著者による報告値。本項目では実行していない
開く · コード · Hugging Face論文ページ