Позвольте агентам становиться сильнее, используя свои предыдущие попытки, без обновления параметров: одна и та же модель сначала выполняет несколько попыток решения задачи, затем «тренер» за один вызов синтезирует из этих записей выполнения и артефактов пошаговое руководство (конкретные пути, значения, команды и ловушки, которых следует избегать), после чего «ученик» заново выполняет задачу с начального состояния, решая на основе фактических наблюдений, следовать ли руководству, корректировать его или пропустить. Для попыток, синтеза и выполнения используется одна и та же базовая модель, более сильного учителя нет.
Лайки 11 · Звёзды в коде 0
Причины
- Авторы утверждают, что на четырёх бенчмарках — Terminal-Bench 2.0, Spider2-Lite, AndroidWorld и BrowseComp-Plus — средний прирост составляет 9.9 процентных пункта (для моделей семейства GPT) и 8.8 процентных пункта (для моделей семейства Claude) по сравнению с выполнением без руководства.
- Это экономичнее, чем простое добавление истории: на BrowseComp-Plus синтез руководства требует на 98.2% меньше токенов (для GPT) и на 95.5% меньше токенов (для Claude), чем модифицированный AggAgent (по утверждению авторов).
- В README приведено сравнение затрат: недорогая модель с ReGE достигает средней успешности 67.4% на 468 задачах, что сопоставимо с более дорогими моделями, при этом стоимость одной задачи составляет примерно 28% от их стоимости (включая затраты на генерацию попыток, рассчитанные по прайс-листу, по утверждению авторов).
Использование
- Код: github.com/TIGER-AI-Lab/ReGE (MIT, Python 3.11+), pip install -r requirements.txt; все вызовы моделей идут через совместимый с OpenAI интерфейс, ключи записываются в .env.
- Для каждого бенчмарка есть скрипт конвейера: scripts/run_tb2.sh gpt (Terminal-Bench 2.0), run_spider.sh, run_androidworld.sh, run_bcp.sh, в конце python scripts/summarize.py для агрегирования показателей успешности; замена gpt на claude переключает семейство моделей.
- Ядро составляет промпт тренера и синтез руководства, см. src/guidance_moa_experiment.py и src/aggregate_deliverable.py, которые можно перенести в свои процессы с многократными повторными попытками или параллельными агентами.
Риски
- Предпосылка состоит в том, что одну и ту же задачу можно повторять и сбрасывать в начальное состояние; для каждой задачи сначала выполняется 4 попыток, общие затраты примерно в 5 раз выше, чем при однократном выполнении (таблица в README), на подмножестве AndroidWorld из таблицы 5 README недорогая модель с руководством показывает даже небольшое снижение результатов.
- Terminal-Bench требует Docker, AndroidWorld требует нескольких эмуляторов Android, BrowseComp-Plus требует собственного сервиса векторного поиска, подготовка окружения довольно сложна; все цифры приведены авторами.