원제: harness-hub/Qwen3.8-27B-pi-adapted
harness-hub이 11월 16일에 업로드한 LoRA 어댑터(r=32)로, 기본 모델은 Qwen/Qwen3.8-27B이며 TRL의 AsyncGRPO 강화 학습을 사용하여 pi 코딩 에이전트의 백엔드 모델로 소프트웨어 엔지니어링 및 터미널 작업을 수행하도록 훈련되었습니다. 훈련 작업은 scale800(750개)와 TermGrade(300개)에서 가져왔으며, 보상은 작업 검증기가 부여한 정확도에 약간의 도구 효율 점수를 더한 값입니다. 이 저장소는 160단계의 체크포인트입니다. Apache-2.0 라이선스이며, GGUF 버전 어댑터도 제공됩니다.
왜 중요한가 공식적으로 동일한 작업 통과율이 현저히 향상되고 도구 호출 횟수가 절반 이상 감소했다고 주장합니다. 훈련 레시피가 공개되어 있어 다른 에이전트 프레임워크에 어댑터를 훈련하는 데 참고할 수 있습니다.
상승 점수 132 · 좋아요 133 · 다운로드 수 0
이유
- 공식적으로 pi 환경에서 각 문제당 한 번 실행하고 온도 0.8로 설정했을 때: Terminal-Bench 2.1 점수가 39.5%에서 55.8%로 상승하고 문제당 도구 호출이 62% 감소했습니다. SWE-bench Pro의 가장 어려운 51개 문제의 점수는 29.4%에서 62.7%로 상승하고 도구 호출이 55% 감소했습니다.
- 모델 카드에는 쌍대 비교의 신뢰 구간과 부호 검정이 제공되며, 체크포인트 선택에 사용되지 않은 68개의 Terminal-Bench 문제(39.7% → 55.9%)도 별도로 나열되어 있습니다.
- 사용 방법은 vLLM에 LoRA 연결, transformers serve, llama.cpp에 GGUF 어댑터 추가, macOS의 Llama.app 사용, 그리고 PEFT를 사용하여 완전한 모델로 병합(BF16 약 54 GB)하는 것을 모두 포함합니다.
사용법
- vLLM: vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 32 --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi-adapted 명령을 실행하고, --mamba-cache-mode align(추가하지 않으면 매 턴마다 전체 히스토리를 다시 읽음) 및 --tool-call-parser qwen3_xml을 추가하며, 사고(thinking) 기능을 비활성화합니다.
- pi(Node.js 22.19 이상): npm으로 @earendil-works/pi-coding-agent를 설치하고, ~/.pi/agent/models.json에 로컬 서비스를 추가합니다. api는 반드시 openai-completions로 지정해야 합니다(어댑터가 Responses API로 훈련되지 않았기 때문).
- 로컬 실행: llama.cpp에서 Qwen3.8-27B의 Q8_0 GGUF 모델에 harness-hub/Qwen3.8-27B-pi-GGUF의 F16 어댑터를 사용합니다. 기본 모델의 양화 비트 수가 낮을수록 훈련 시점의 성능에서 멀어집니다.
리스크
- 모델 카드의 명령어에는 저장소 이름이 harness-hub/Qwen3.8-27B-pi로 적혀 있지만, 이 항목을 확인하는 시점에는 해당 주소에 접근할 수 없으므로 이 저장소 이름인 harness-hub/Qwen3.8-27B-pi-adapted로 변경해야 합니다.
- pi 프레임워크 및 사고(thinking) 기능이 비활성화된 설정에서만 훈련 및 평가가 이루어졌으므로, 다른 에이전트 프레임워크를 사용하거나 사고 기능을 활성화한 경우의 데이터는 없습니다. GGUF 버전은 재평가되지 않았습니다.
- 훈련은 계획된 1000단계 중 191단계에서 중단되었으며, 160단계가 선택되었습니다. 선택 과정에서 SWE-bench Pro 점수를 확인했으므로 이 항목의 향상은 낙관적일 수 있습니다. 이 항목은 실행되지 않았습니다.