원제: SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
저비트 양자화는 에이전트가 작업 요구 사항이나 환경 조건을 무시하고 전체 정밀도 모델과 다른 궤적을 따르게 만듭니다. SteerDistill은 양자화 학생 모델이 오류 발생 이전의 이력과 환경 상태에서 재시도하도록 하며, 동결된 전체 정밀도 교사가 실행 피드백에 따라 지도를 반복적으로 수정하여 해당 단계가 로컬 검증에서 통과될 때까지 진행합니다. 이후 학생 모델은 지도 없이 학습되며, 수정된 턴에서는 '지도받은 후의 자신'을 모방하고 나머지 턴에서는 교사를 모방하므로 추론 시에는 더 이상 교사가 필요하지 않습니다. 저자들은 5개의 에이전트 벤치마크와 3개의 모델에서 W4A16 설정 하에 평균 점수가 가장 강력한 양자화 기준선보다 1.67–2.18점 높으며, BF16과의 차이는 1점 미만이라고 보고했습니다. 또한 τ²-Bench에서는 QeRL 대비 성공률이 1.84%포인트 높고, 학습 GPU 시간이 67%만큼 적습니다.
중요성 양자화는 추론 비용을 절감할 수 있지만, 에이전트는 이로 인해 작업 요구 사항을 놓치는 경우가 많습니다. 이 방법은 대부분의 손실을 회복하며, 강화 학습 방식보다 학습 연산량도 절약합니다.
좋아요 31 · 코드 스타 수 7
이유
- 코드가 전체 프로세스를 커버합니다: 데이터 준비, 클리핑 캘리브레이션, 양자화 모델 내보내기, 온라인 증류 및 평가가 한 번의 명령으로 Qwen3-8B 모델을 BFCL V4에서 실행하는 예제를 포함합니다.
- Qwen3-8B (W4A16, W4A8, W2A16), Qwen3.5-4B 및 Gemma 4 12B-it을 지원합니다. 벤치마크는 BFCL V4, tau2-Bench, WebShop, ALFWorld, Search QA입니다.
사용법
- 코드: https://github.com/air-embodied-brain/SteerDistill(MIT 라이선스)
- README에 따라 환경을 설치하고 configs/local.env에 강화 학습 후의 BF16 체크포인트 경로를 입력한 뒤, bash scripts/run/run_benchmark.sh full --model qwen3_8b --benchmark bfcl_v4을 실행하세요. 웹 검색 평가에는 SERPAPI_API_KEY 설정이 필요합니다.
리스크
- 학습된 양자화 체크포인트는 아직 공개되지 않았습니다(README에 TODO로 표시됨). 강화 학습 후의 BF16 모델부터 직접 학습해야 합니다.
- 참고 학습 구성은 8개의 A100 80GB GPU를 사용하며, 별도의 추론 및 벤치마크 환경이 필요합니다.
- 성능 수치는 저자가 보고한 것이며, 본 항목에서는 실행하지 않았습니다.
열기 · 코드 · Hugging Face 논문 페이지