Оригинальное название: harness-hub/Qwen3.8-27B-pi-adapted
LoRA-адаптер (r=32), загруженный harness-hub 11 16, основан на модели Qwen/Qwen3.8-27B и обучен с помощью метода обучения с подкреплением AsyncGRPO из библиотеки TRL для использования в качестве базовой модели программирующего агента pi при выполнении задач по разработке ПО и работе с терминалом. Задачи для обучения взяты из наборов scale800 (750 задач) и TermGrade (300 задач); награда (reward) рассчитывается на основе точности, проверяемой валидатором задач, с небольшим бонусом за эффективность использования инструментов. Данный репозиторий содержит контрольную точку (checkpoint) на шаге 160. Лицензия Apache-2.0, также доступен адаптер в формате GGUF.
Почему это важно По официальным данным, процент успешного выполнения тех же задач значительно вырос, а количество вызовов инструментов сократилось более чем вдвое; конфигурация обучения опубликована, что позволяет обучать адаптеры для других фреймворков агентов по аналогии
Рост рейтинга 132 · Лайки 133 · Загрузки 0
Обоснование
- По официальным данным, при запуске в агенте pi с одной попыткой на задачу и температурой 0.8: результат в Terminal-Bench 2.1 вырос с 39.5% до 55.8%, количество вызовов инструментов на задачу сократилось на 62%; в SWE-bench Pro для самых сложных 51 задач результат вырос с 29.4% до 62.7%, количество вызовов инструментов сократилось на 55%
- В карточке модели приведены доверительные интервалы для парных сравнений и результаты знакового теста, а также отдельно указаны 68 задач из Terminal-Bench, которые не использовались при выборе контрольной точки (39.7% → 55.9%)
- Поддерживаются следующие варианты использования: загрузка LoRA в vLLM, запуск через transformers serve, использование llama.cpp с GGUF-адаптером, приложение Llama.app для macOS, а также слияние в полную модель с помощью PEFT (BF16 занимает примерно 54 ГБ)
Использование
- vLLM: команда
vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 32 --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi-adaptedс добавлением параметра--mamba-cache-mode align(без него вся история перечитывается на каждом шаге) и--tool-call-parser qwen3\_xml, при этом режим размышлений (thinking) должен быть отключен - pi (Node.js версии 22.19 и выше): установите пакет
@earendil-works/pi-coding-agentчерез npm, добавьте локальный сервис в файл~/.pi/agent/models.json, при этом полеapiобязательно должно быть указано какopenai-completions(адаптер не обучался с использованием API Responses) - Локальный запуск: в llama.cpp используйте GGUF-файл Q8_0 для модели Qwen3.8-27B вместе с адаптером F16 из репозитория harness-hub/Qwen3.8-27B-pi-GGUF; чем ниже битность квантования базовой модели, тем сильнее отклонение от результатов, полученных во время обучения
Риски
- В командах, указанных в карточке модели, используется имя репозитория harness-hub/Qwen3.8-27B-pi, однако на момент проверки эта ссылка не работает; необходимо использовать имя текущего репозитория harness-hub/Qwen3.8-27B-pi-adapted
- Обучение и оценка проводились только в рамках фреймворка pi с отключенным режимом размышлений (thinking); для других фреймворков агентов или при включенном режиме размышлений данные отсутствуют; версия в формате GGUF не была переоценена
- Обучение было остановлено на шаге 191 из запланированных 1000, выбрана контрольная точка на шаге 160; при выборе учитывались результаты SWE-bench Pro, поэтому улучшение по этому показателю может быть оптимистичным; в рамках данной записи запуск не выполнялся