Оригинальное название: What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
Авторы заново оценивают многошаговое обучение с подкреплением для агентов, используя метрику Pass@(K,T), где K — ширина выборки, а T — глубина взаимодействия (бюджет ходов). Преимущества RL на уровне траекторий зависят от достаточного бюджета ходов: при его сокращении они заметно уменьшаются или даже меняют знак. RL не приводит к общему повышению качества принятия решений на одном шаге; основные преимущества заключаются в восстановлении после ошибок и настойчивости при выполнении длительных задач. Чтобы снизить риски развертывания, связанные с зависимостью от бюджета, авторы предварительно обсудили плюсы и минусы сигналов процесса обучения и предложили метод BudgetMix RL: во время обучения разным группам предоставляются различные, явно видимые бюджеты ходов. По словам авторов, этот метод демонстрирует устойчивость в различных условиях выполнения.
Лайков 33 · Звёзд на GitHub 16
Причины
- Напоминание командам, занимающимся обучением и оценкой агентов: «Не смотрите только на среднюю долю успешных выполнений». В сценариях с ограниченным числом ходов при развертывании преимущества RL могут значительно сократиться.
- Инструментарий открыт (лицензия MIT): оценка в условиях жесткого бюджета, оценка префиксов ошибок (кто лучше принимает решения и эффективнее восстанавливается при одинаковом состоянии и остатке бюджета), динамика обучения, планирование и аудит BudgetMix, а также анализ правдоподобия / NLL и сигналов процесса. Базовая оценка использует только стандартную библиотеку Python и может подключаться к собственным HTTP-чатам или траекториям в формате JSONL.
- В день публикации пост получил 33 лайков, занял 5 место и набрал 16 звёзд на GitHub (что отражает только уровень внимания).
Использование
- После выполнения git clone https://github.com/GaryStack/Rethinking-Agent-RL установите пакет командой python -m pip install -e . (требуется Python версии 3.11 и выше). Проверьте окружение с помощью команды ard doctor --json, а затем создайте пять сравнительных отчетов, выполнив команду ard toolkit-demo --output runs/toolkit-walkthrough (демонстрация на основе скриптованных стратегий не требует GPU, весов модели или доступа в сеть). Откройте файл runs/toolkit-walkthrough/index.html для просмотра результатов.
- Для оценки собственной модели: используйте команды ard eval budget и ard compare для анализа доли успешных выполнений при различных значениях K и T; примените команды ard pool errors вместе с ard eval step / ard eval recovery для оценки префиксов ошибок; настройте обучение BudgetMix с помощью команд ard budgetmix plan / audit (опционально доступен адаптер VeRL).
Риски
- Авторы указывают, что примеры и инженерные проверки в репозитории не являются воспроизведением числовых результатов из статьи. Веса моделей, приватные оценки, исходные траектории и полные экспериментальные результаты не опубликованы.
- Метод BudgetMix RL является предварительным решением, предложенным авторами; в аннотации не указаны конкретные показатели улучшения.