원제: harness-hub/Qwen3.8-27B-super-adapter
harness-hub이 11월 16일에 업로드한 Qwen3.8-27B용 LoRA 어댑터입니다. 이 어댑터는 pi, Hermes Agent, OpenCode라는 세 가지 프로그래밍 에이전트 프레임워크에서 각각 소프트웨어 엔지니어링 및 터미널 작업을 대상으로 AsyncGRPO를 사용하여 강화 학습으로 훈련된 세 개의 공개된 전문 어댑터를 각 ½의 가중치로 결합하여 병합한 것입니다. 병합 과정 자체에는 추가 훈련이 없으며, 병합 후 랭크는 96입니다. 저자는 세 어댑터의 가중치 업데이트가 거의 직교하며, 합산 시 각각의 성능이 대부분 유지된다고 주장합니다. 본 칼럼에서는 11월 18일에 pi 전용 버전을 소개한 바 있으며, 이번 버전의 새로운 점은 하나의 어댑터가 세 가지 프레임워크를 모두 지원한다는 것입니다.
중요성 에이전트 프레임워크마다 어댑터를 교체할 필요가 없습니다. 저자는 사고(thinking) 모드를 활성화했을 때 6개의 비교 그룹 중 5개에서 원본 모델보다 성능이 향상되고 1개는 동등한 수준을 유지했으며, 도구 호출 횟수도 감소했다고 주장합니다.
상승 점수 27 · 좋아요 28 · 다운로드 수 103
근거
- 저자는 사고 모드를 활성화했을 때 세 프레임워크 모두에서 SWE-bench Pro(난이도 높은 문제 51개) 및 Terminal-Bench 2.1의 평균 pass@1 점수가 55.5%에서 63.5%로 상승했으며, 문제당 도구 호출 횟수는 19%–48%회 감소했다고 주장합니다.
- 사고 모드를 비활성화했을 때는 6개 그룹 모두 원본 모델보다 높은 성능을 보였습니다(평균 39.5% → 49.0%). 그러나 하나의 프레임워크만 사용하면서 사고 모드를 비활성화하는 경우, 저자는 해당 프레임워크 전용 버전을 사용할 것을 권장합니다.
- vLLM을 통해 LoRA를 직접 연결할 수 있으며, llama.cpp용 GGUF 버전도 제공됩니다. PEFT를 사용하여 약 54GB 크기의 독립적인 BF16 모델로 병합할 수도 있습니다.
사용법
vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 128 --lora-modules qwen3.8-super=harness-hub/Qwen3.8-27B-super-adapter명령어를 실행합니다(카드에는 도구 호출 및 추론 파싱 매개변수가 추가로 포함되어 있습니다). 이후 pi, Hermes Agent 또는 OpenCode를 로컬의 OpenAI 호환 엔드포인트로 지정합니다.- llama.cpp: 기본 모델은 Q8_0 GGUF를 사용하며,
--lora Qwen3.8-27B-super-adapter-lora-F16.gguf옵션을 추가합니다. - 사고 모드를 활성화 상태로 유지하십시오. pi의 설정에는
"api": "openai-completions"를 명시해야 하며, Hermes Agent는 최소 64,000 토큰의 컨텍스트 길이가 필요합니다.
리스크
- 성능 점수는 저자가 각 프레임워크에서 단일 시도, 100 단계 예산, 텍스트 전용으로 자체 테스트한 결과이며, Qwen3.8-27B 공식 카드에 기재된 점수와는 비교할 수 없습니다. 병합 가중치 ½는 Terminal-Bench를 기준으로 선택되었으며, 저자 스스로 이 부분의 결과가 다소 낙관적이라고 언급했습니다.
- GGUF 버전은 재평가되지 않았으며, 낮은 비트 양자화된 기본 모델은 평가 결과와 차이가 있을 수 있습니다. 본 항목은 실행되지 않았습니다.