SteerDistill: Учитель с исправлением ошибок позволяет квантованным агентам совершать меньше ошибок

Квантование с низкой разрядностью приводит к тому, что агенты игнорируют требования задачи или условия среды, отклоняясь от траектории, характерной для моделей с полной точностью. SteerDistill позволяет квантованной ученической модели повторять попытки, начиная с истории и состояния среды до момента возникновения ошибки; замороженная модель-учитель с полной точностью многократно корректирует инструкции на основе обратной связи по выполнению, пока шаг не пройдет локальную проверку. Затем ученическая модель обучается без инструкций: в исправленных эпизодах она имитирует «себя под руководством», а в остальных — имитирует учителя, поэтому на этапе вывода учитель больше не требуется. Авторы утверждают, что на пяти агентных бенчмарках и трех моделях средняя оценка при квантовании W4A16 на 1.67–2.18 балла выше, чем у лучшей базовой линии квантования, и отличается от BF16 менее чем на 1 балла; на бенчмарке τ²-Bench показатель успешности на 1.84 процентных пунктов выше, чем у QeRL, а время обучения на GPU сокращается на 67%.

Оригинальное название: SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering

Квантование с низкой разрядностью приводит к тому, что агенты игнорируют требования задачи или условия среды, отклоняясь от траектории, характерной для моделей с полной точностью. SteerDistill позволяет квантованной ученической модели повторять попытки, начиная с истории и состояния среды до момента возникновения ошибки; замороженная модель-учитель с полной точностью многократно корректирует инструкции на основе обратной связи по выполнению, пока шаг не пройдет локальную проверку. Затем ученическая модель обучается без инструкций: в исправленных эпизодах она имитирует «себя под руководством», а в остальных — имитирует учителя, поэтому на этапе вывода учитель больше не требуется. Авторы утверждают, что на пяти агентных бенчмарках и трех моделях средняя оценка при квантовании W4A16 на 1.67–2.18 балла выше, чем у лучшей базовой линии квантования, и отличается от BF16 менее чем на 1 балла; на бенчмарке τ²-Bench показатель успешности на 1.84 процентных пунктов выше, чем у QeRL, а время обучения на GPU сокращается на 67%.

Почему это важно Квантование снижает затраты на вывод, но агенты часто из-за этого упускают требования задачи; данный метод позволяет восстановить большую часть потерь, а вычислительные ресурсы для обучения также экономятся по сравнению с решениями на основе обучения с подкреплением

Лайков: 31 · Звезд на GitHub: 7

Причины

  • Код охватывает весь процесс: подготовка данных, калибровка обрезки, экспорт квантованной модели, онлайн-дистилляция и оценка; одна команда позволяет запустить пример для Qwen3-8B на BFCL V4
  • Поддерживаются Qwen3-8B (W4A16, W4A8, W2A16), Qwen3.5-4B и Gemma 4 12B-it; используются бенчмарки BFCL V4, tau2-Bench, WebShop, ALFWorld, Search QA

Использование

  • Код: лицензия https://github.com/air-embodied-brain/SteerDistill(MIT
  • Установите окружение согласно README, укажите путь к чекпоинту BF16 после обучения с подкреплением в configs/local.env и выполните bash scripts/run/run_benchmark.sh full --model qwen3_8b --benchmark bfcl_v4; для оценки веб-поиска необходимо настроить SERPAPI_API_KEY

Риски

  • Обученные квантованные чекпоинты еще не опубликованы (в README помечено как TODO), поэтому необходимо самостоятельно начинать обучение с модели BF16 после обучения с подкреплением
  • Референсная конфигурация обучения предполагает использование 8 графических процессоров A100 80GB, а также отдельного окружения для вывода и бенчмарков
  • Результаты приведены по данным авторов; в данном случае тестирование не проводилось

Открыть · Код · Страница статьи

Hugging Face Daily Papers

Открыть последние новости ИИ