Qwen3.8-27B-pi: LoRA được huấn luyện tăng cường để củng cố cho tác nhân lập trình pi

LoRA adapter do harness-hub tải lên vào ngày 16 tháng 11 (r=32), dựa trên mô hình nền Qwen/Qwen3.8-27B, được huấn luyện bằng phương pháp học tăng cường AsyncGRPO của TRL, nhằm biến nó thành mô hình đứng sau tác nhân lập trình pi để thực hiện các nhiệm vụ kỹ thuật phần mềm và dòng lệnh. Các nhiệm vụ huấn luyện đến từ scale800 (750 nhiệm vụ) và TermGrade (300 nhiệm vụ), phần thưởng bao gồm độ chính xác do trình xác thực nhiệm vụ cung cấp cộng thêm một chút điểm hiệu quả sử dụng công cụ; kho lưu trữ này là điểm kiểm tra (checkpoint) ở bước thứ 160. Giấy phép Apache-2.0, có kèm phiên bản adapter định dạng GGUF.

Tiêu đề gốc: harness-hub/Qwen3.8-27B-pi-adapted

LoRA adapter do harness-hub tải lên vào ngày 16 tháng 11 (r=32), dựa trên mô hình nền Qwen/Qwen3.8-27B, được huấn luyện bằng phương pháp học tăng cường AsyncGRPO của TRL, nhằm biến nó thành mô hình đứng sau tác nhân lập trình pi để thực hiện các nhiệm vụ kỹ thuật phần mềm và dòng lệnh. Các nhiệm vụ huấn luyện đến từ scale800 (750 nhiệm vụ) và TermGrade (300 nhiệm vụ), phần thưởng bao gồm độ chính xác do trình xác thực nhiệm vụ cung cấp cộng thêm một chút điểm hiệu quả sử dụng công cụ; kho lưu trữ này là điểm kiểm tra (checkpoint) ở bước thứ 160. Giấy phép Apache-2.0, có kèm phiên bản adapter định dạng GGUF.

Tại sao quan trọng Theo thông tin chính thức, tỷ lệ hoàn thành nhiệm vụ tương tự đã tăng đáng kể và số lần gọi công cụ giảm hơn một nửa; công thức huấn luyện được công khai, cho phép áp dụng để huấn luyện adapter cho các khung tác nhân khác

Điểm tăng 132 · Lượt thích 133 · Lượt tải 0

Lý do

  • Theo thông tin chính thức, khi chạy dưới pi với mỗi câu hỏi chạy một lần, nhiệt độ 0.8: Terminal-Bench 2.1 tăng từ 39.5% lên 55.8%, số lần gọi công cụ mỗi câu giảm 62%; SWE-bench Pro với 51 câu hỏi khó nhất tăng từ 29.4% lên 62.7%, số lần gọi công cụ giảm 55%
  • Thẻ mô hình cung cấp khoảng tin cậy cho so sánh cặp và kiểm định dấu, đồng thời liệt kê riêng 68 câu hỏi Terminal-Bench không được dùng để chọn điểm kiểm tra (39.7% → 55.9%)
  • Cách sử dụng bao gồm gắn LoRA vào vLLM, chạy dịch vụ bằng transformers, dùng llama.cpp với adapter GGUF, ứng dụng Llama.app trên macOS, và hợp nhất thành mô hình đầy đủ bằng PEFT (BF16 khoảng 54 GB)

Cách sử dụng

  • vLLM: vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 32 --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi-adapted, và thêm --mamba-cache-mode align (nếu không thêm, toàn bộ lịch sử sẽ được đọc lại ở mỗi vòng), --tool-call-parser qwen3_xml, tắt chế độ suy nghĩ (thinking)
  • pi (Node.js 22.19 trở lên): cài đặt @earendil-works/pi-coding-agent qua npm, thêm dịch vụ cục bộ vào ~/.pi/agent/models.json, trường api phải được đặt là openai-completions (adapter không được huấn luyện với Responses API)
  • Chạy cục bộ: llama.cpp sử dụng GGUF Q8_0 của Qwen3.8-27B cùng với adapter F16 trong harness-hub/Qwen3.8-27B-pi-GGUF; số bit lượng tử hóa của mô hình nền càng thấp thì hiệu năng càng lệch xa so với hiệu năng lúc huấn luyện

Rủi ro

  • Tên kho lưu trữ trong các lệnh của thẻ mô hình là harness-hub/Qwen3.8-27B-pi, nhưng tại thời điểm xem mục này, địa chỉ đó không truy cập được, cần thay bằng tên kho lưu trữ hiện tại là harness-hub/Qwen3.8-27B-pi-adapted
  • Chỉ được huấn luyện và đánh giá trong khung pi với chế độ suy nghĩ (thinking) tắt; không có dữ liệu khi chuyển sang khung tác nhân khác hoặc bật chế độ suy nghĩ; phiên bản GGUF chưa được đánh giá lại
  • Huấn luyện dừng ở bước thứ 191 trong tổng số 1000 bước theo kế hoạch, điểm kiểm tra được chọn là bước thứ 160, quá trình lựa chọn đã xem xét điểm SWE-bench Pro, do đó mức cải thiện ở hạng mục này có thể lạc quan hơn thực tế; mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất