DaisyRose-27B: Qwen được tinh chỉnh chỉ bằng học tăng cường

Mô hình đầu tiên của RadixArk, tải lên vào ngày 18 tháng 11: dựa trên nền tảng Qwen3.8-27B, không thực hiện tinh chỉnh có giám sát cũng không dùng kỹ thuật chưng cất, chỉ sử dụng học tăng cường. Các nhiệm vụ huấn luyện là khoảng 1,200 tác vụ tác nhân chuỗi dài được chọn lọc cùng với Eigent AI (mỗi lần chạy trong hộp cát tối đa 1.5 giờ, với hơn 100 lần gọi công cụ), phiên làm việc đơn lẻ dài tối đa 1M token, được huấn luyện trong 18 ngày trên 144 card H200. Giữ nguyên cấu trúc, bộ tokenizer, mẫu hội thoại, khả năng nhìn ảnh và ngữ cảnh 256K của mô hình gốc, có thể thay thế trực tiếp cho Qwen3.8-27B. Trọng số theo giấy phép Apache-2.0, ngoài ra còn có phiên bản FP8 và NVFP4.

Tiêu đề gốc: RadixArk/DaisyRose-27B

Mô hình đầu tiên của RadixArk, tải lên vào ngày 18 tháng 11: dựa trên nền tảng Qwen3.8-27B, không thực hiện tinh chỉnh có giám sát cũng không dùng kỹ thuật chưng cất, chỉ sử dụng học tăng cường. Các nhiệm vụ huấn luyện là khoảng 1,200 tác vụ tác nhân chuỗi dài được chọn lọc cùng với Eigent AI (mỗi lần chạy trong hộp cát tối đa 1.5 giờ, với hơn 100 lần gọi công cụ), phiên làm việc đơn lẻ dài tối đa 1M token, được huấn luyện trong 18 ngày trên 144 card H200. Giữ nguyên cấu trúc, bộ tokenizer, mẫu hội thoại, khả năng nhìn ảnh và ngữ cảnh 256K của mô hình gốc, có thể thay thế trực tiếp cho Qwen3.8-27B. Trọng số theo giấy phép Apache-2.0, ngoài ra còn có phiên bản FP8 và NVFP4.

Tại sao quan trọng Cấu trúc, bộ tokenizer và mẫu hội thoại đều giống hệt mô hình gốc, cho phép thay thế trực tiếp; nhà phát hành tuyên bố rằng điểm số trong các bài kiểm tra lập trình và thiết bị đầu cuối phần lớn đều được cải thiện, có thể chạy trên một card đồ họa duy nhất, giấy phép Apache

Điểm tăng 42 · Lượt thích 44 · Lượt tải 0

Lý do

  • Nhà phát hành tuyên bố Terminal Bench 4.1 tăng từ 5.6 lên 12.0; Terminal Bench 2.1 73.0 → 75.5, DeepSWE v1.1 42.2 → 46.2, IFBench 79.5 → 82.4, GPQA Diamond 89.2 → 90.7
  • Trong cùng bảng, các mô hình có kích thước lớn hơn nhiều như MiMo V2.6 Flash và Inkling 2 Small vẫn đạt điểm cao hơn ở hầu hết các hạng mục lập trình; điểm số của các mô hình khác được lấy từ công bố của từng nhà phát triển hoặc các bảng xếp hạng bên thứ ba
  • Khung học tăng cường Miles được mã nguồn mở: 128 card để chạy tác nhân, 16 card để huấn luyện, tổng cộng khoảng 63,000 giờ GPU

Cách sử dụng

  • Nhà phát hành khuyến nghị sử dụng SGLang (lmsysorg/sglang:latest) kết hợp với giải mã suy đoán DSpark: --speculative-algorithm DSPARK --speculative-draft-model-path RadixArk/Qwen3.8-27B-DSpark, cùng với --reasoning-parser qwen3 --tool-call-parser qwen3_coder; cookbook của SGLang tạo lệnh khởi động dựa trên loại card đồ họa và độ chính xác
  • Trọng số khoảng 52 GB (BF16) / 29 GB (FP8) / 23 GB (NVFP4, yêu cầu card đồ họa Blackwell); nhà phát hành tuyên bố rằng có thể chạy trên một card duy nhất như RTX 5090, RTX PRO 6000, DGX Spark, v.v.
  • Chế độ suy nghĩ sử dụng temperature 1.0, top_p 0.95, top_k 20, min_p 0; đối với các bài toán khó, không đặt max_tokens, trong hội thoại nhiều vòng cần truyền lại reasoning_content

Rủi ro

  • Chế độ suy nghĩ được bật theo mặc định, nhà phát hành cho biết với các bài toán khó, mô hình có thể suy nghĩ đến hàng chục nghìn token, dẫn đến thời gian và chi phí cao
  • Điểm số là tự đánh giá của nhà phát hành, các con số so sánh từ các mô hình khác lấy từ công bố của từng nhà phát triển và bảng xếp hạng bên thứ ba, khung đánh giá không hoàn toàn nhất quán; điểm tuyệt đối của Terminal Bench 4.1 vẫn chỉ ở mức 12.0
  • Nhà phát hành không ghi rõ loại độ chính xác nào cần dùng cho các card đồ họa 32 GB như RTX 5090, cũng như độ dài ngữ cảnh có thể mở được. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất