에이전트가 자신의 과거 시도를 통해 강화되되 매개변수를 업데이트하지 않는 방식: 동일한 모델이 먼저 과제에 대해 여러 번 시도를 수행한 후, '코치'가 한 번 호출되어 이러한 실행 기록과 산출물을 단계별로 정렬된 가이드(구체적인 경로, 값, 명령어 및 피해야 할 함정 포함)로 합성합니다. 마지막으로 '학생'이 과제의 초기 상태로 돌아가 다시 실행하며, 실제 관찰 결과에 따라 그대로 따를지, 조정할지, 아니면 건너뛸지 결정합니다. 시도, 합성, 실행 모두 동일한 기본 모델을 사용하며, 더 강력한 교사는 존재하지 않습니다.
좋아요 11 · 코드 스타 수 0
이유
- 저자들은 Terminal-Bench 2.0, Spider2-Lite, AndroidWorld, BrowseComp-Plus의 네 가지 벤치마크에서 가이드가 없는 실행과 비교하여 평균 9.9 퍼센트 포인트(GPT 계열) 및 8.8 퍼센트 포인트(Claude 계열)의 성능 향상을 주장합니다.
- 과거 이력을 직접 입력하는 것보다 토큰 사용량이 적습니다: BrowseComp-Plus에서 합성된 가이드에 사용된 토큰은 수정된 AggAgent보다 GPT의 경우 98.2%, Claude의 경우 95.5% 적었습니다(저자 주장).
- README에는 비용 비교가 제시되어 있습니다: 저가 모델에 ReGE를 적용한 경우 468개 과제에서 평균 성공률 67.4%를 달성하여 더 비싼 모델과 동등한 성능을 보였으며, 과제당 비용은 해당 모델의 약 28% 수준이었습니다(시도 생성 비용 포함, 정가 기준, 저자 주장).
사용법
- 코드: github.com/TIGER-AI-Lab/ReGE(MIT 라이선스, Python 3.11 이상), pip install -r requirements.txt; 모든 모델 호출은 OpenAI 호환 인터페이스를 통해 이루어지며, API 키는 .env 파일에 작성합니다.
- 각 벤치마크마다 파이프라인 스크립트가 하나씩 있습니다: scripts/run_tb2.sh gpt(Terminal-Bench 2.0), run_spider.sh, run_androidworld.sh, run_bcp.sh를 실행한 후, python scripts/summarize.py로 성공률을 집계합니다. gpt를 claude로 변경하여 모델 계열을 전환할 수 있습니다.
- 핵심은 코치 프롬프트와 가이드 합성 부분으로, src/guidance_moa_experiment.py 및 src/aggregate_deliverable.py를 참조하면 되며, 이를 자신의 다중 재시도 또는 병렬 에이전트 워크플로우에 적용할 수 있습니다.
리스크
- 전제 조건은 동일한 과제를 반복적으로 시도하고 초기 상태로 리셋할 수 있어야 한다는 것입니다. 각 과제마다 먼저 4번의 시도를 수행해야 하므로 총 비용은 단일 실행의 약 5배입니다(README 표). README 표 5의 AndroidWorld 하위 집합에서는 저가 모델에 가이드를 적용했을 때 오히려 성능이 약간 하락했습니다.
- Terminal-Bench는 Docker가 필요하고, AndroidWorld는 여러 개의 안드로이드 에뮬레이터가 필요하며, BrowseComp-Plus는 자체 벡터 검색 서비스를 구축해야 하는 등 환경 준비가 무겁습니다. 모든 수치는 저자가 보고한 값입니다.