パラメータを更新せずに、エージェント自身の過去の試行を通じて強化する手法：同一のモデルがまずタスクに対して複数回の試行を行い、次に「コーチ」が一度呼び出されて、これらの実行記録と成果物を、具体的なパス、値、コマンド、避けるべき落とし穴を含むステップバイステップのガイドとして合成します。最後に「学生」がタスクの初期状態から再実行し、実際の観察に基づいて、ガイドに従うか、調整するか、スキップするかを決定します。試行、合成、実行にはすべて同じ基盤モデルが使用され、より強力な教師モデルは存在しません。
いいね 11 · コードスター数 0
理由
- 著者によると、Terminal-Bench 2.0、Spider2-Lite、AndroidWorld、BrowseComp-Plus の4つのベンチマークにおいて、ガイドなしの実行と比較して、平均で 9.9 ポイント（GPT系）および 8.8 ポイント（Claude系）の向上が確認されています。
- 履歴を直接入力するよりも効率的です：BrowseComp-Plus において、合成ガイドに使用されるトークン数は、改造された AggAgent よりも 98.2% 少なく（GPT）、95.5% 少ない（Claude）と著者は報告しています。
- README にはコスト比較が記載されています：低価格モデルに ReGE を適用した場合、468 個のタスクでの平均成功率は 67.4% であり、より高価なモデルと同等ですが、1タスクあたりのコストはその約 28% です（試行生成のコストを含み、定価で計算、著者報告）。
使い方
- コード：github.com/TIGER-AI-Lab/ReGE（MITライセンス、Python 3.11+）、pip install -r requirements.txt；すべてのモデル呼び出しは OpenAI 互換インターフェース経由で行い、キーは .env に記載します。
- 各ベンチマーク用にパイプラインスクリプトが用意されています：scripts/run_tb2.sh gpt（Terminal-Bench 2.0）、run_spider.sh、run_androidworld.sh、run_bcp.sh。最後に python scripts/summarize.py で成功率を集計します。gpt を claude に置き換えることでモデル系を切り替えます。
- 核心はコーチプロンプトとガイド合成であり、src/guidance_moa_experiment.py と src/aggregate_deliverable.py を参照してください。これらは、自身の複数リトライや並列エージェントフローに移植可能です。
リスク
- 前提条件として、同一タスクを繰り返し試行し、初期状態にリセットできる必要があります。各問題に対して事前に 4 回の試行を行う必要があり、総コストは単一実行の約 5 倍です（README の表）。README の表 5 にある AndroidWorld のサブセットでは、低価格モデルにガイドを追加すると、むしろわずかに性能が低下しました。
- Terminal-Bench には Docker が必要であり、AndroidWorld には複数の Android エミュレーターが必要で、BrowseComp-Plus には自前のベクトル検索サービスが必要です。環境準備の負荷は重いです。数値はすべて著者による報告です。