Qwen3.8-27B-pi: LoRA для усиленного обучения программирующего агента pi

LoRA-адаптер (r=32), загруженный harness-hub 11 16, основан на модели Qwen/Qwen3.8-27B и обучен с помощью метода обучения с подкреплением AsyncGRPO из библиотеки TRL для использования в качестве базовой модели программирующего агента pi при выполнении задач по разработке ПО и работе с терминалом. Задачи для обучения взяты из наборов scale800 (750 задач) и TermGrade (300 задач); награда (reward) рассчитывается на основе точности, проверяемой валидатором задач, с небольшим бонусом за эффективность использования инструментов. Данный репозиторий содержит контрольную точку (checkpoint) на шаге 160. Лицензия Apache-2.0, также доступен адаптер в формате GGUF.

Оригинальное название: harness-hub/Qwen3.8-27B-pi-adapted

LoRA-адаптер (r=32), загруженный harness-hub 11 16, основан на модели Qwen/Qwen3.8-27B и обучен с помощью метода обучения с подкреплением AsyncGRPO из библиотеки TRL для использования в качестве базовой модели программирующего агента pi при выполнении задач по разработке ПО и работе с терминалом. Задачи для обучения взяты из наборов scale800 (750 задач) и TermGrade (300 задач); награда (reward) рассчитывается на основе точности, проверяемой валидатором задач, с небольшим бонусом за эффективность использования инструментов. Данный репозиторий содержит контрольную точку (checkpoint) на шаге 160. Лицензия Apache-2.0, также доступен адаптер в формате GGUF.

Почему это важно По официальным данным, процент успешного выполнения тех же задач значительно вырос, а количество вызовов инструментов сократилось более чем вдвое; конфигурация обучения опубликована, что позволяет обучать адаптеры для других фреймворков агентов по аналогии

Рост рейтинга 132 · Лайки 133 · Загрузки 0

Обоснование

  • По официальным данным, при запуске в агенте pi с одной попыткой на задачу и температурой 0.8: результат в Terminal-Bench 2.1 вырос с 39.5% до 55.8%, количество вызовов инструментов на задачу сократилось на 62%; в SWE-bench Pro для самых сложных 51 задач результат вырос с 29.4% до 62.7%, количество вызовов инструментов сократилось на 55%
  • В карточке модели приведены доверительные интервалы для парных сравнений и результаты знакового теста, а также отдельно указаны 68 задач из Terminal-Bench, которые не использовались при выборе контрольной точки (39.7% → 55.9%)
  • Поддерживаются следующие варианты использования: загрузка LoRA в vLLM, запуск через transformers serve, использование llama.cpp с GGUF-адаптером, приложение Llama.app для macOS, а также слияние в полную модель с помощью PEFT (BF16 занимает примерно 54 ГБ)

Использование

  • vLLM: команда vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 32 --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi-adapted с добавлением параметра --mamba-cache-mode align (без него вся история перечитывается на каждом шаге) и --tool-call-parser qwen3\_xml, при этом режим размышлений (thinking) должен быть отключен
  • pi (Node.js версии 22.19 и выше): установите пакет @earendil-works/pi-coding-agent через npm, добавьте локальный сервис в файл ~/.pi/agent/models.json, при этом поле api обязательно должно быть указано как openai-completions (адаптер не обучался с использованием API Responses)
  • Локальный запуск: в llama.cpp используйте GGUF-файл Q8_0 для модели Qwen3.8-27B вместе с адаптером F16 из репозитория harness-hub/Qwen3.8-27B-pi-GGUF; чем ниже битность квантования базовой модели, тем сильнее отклонение от результатов, полученных во время обучения

Риски

  • В командах, указанных в карточке модели, используется имя репозитория harness-hub/Qwen3.8-27B-pi, однако на момент проверки эта ссылка не работает; необходимо использовать имя текущего репозитория harness-hub/Qwen3.8-27B-pi-adapted
  • Обучение и оценка проводились только в рамках фреймворка pi с отключенным режимом размышлений (thinking); для других фреймворков агентов или при включенном режиме размышлений данные отсутствуют; версия в формате GGUF не была переоценена
  • Обучение было остановлено на шаге 191 из запланированных 1000, выбрана контрольная точка на шаге 160; при выборе учитывались результаты SWE-bench Pro, поэтому улучшение по этому показателю может быть оптимистичным; в рамках данной записи запуск не выполнялся

Открыть

Hugging Face Trending

Открыть последние новости ИИ