Phiên bản rút gọn Qwen3.8-Flash-Next: Cắt bỏ một phần tư số chuyên gia định tuyến

Phiên bản rút gọn không chính thức dựa trên nvidia/Qwen3.8-Flash-Next-FP4-Local: Sử dụng tìm kiếm kiến trúc thần kinh (NAS) để chọn ra các chuyên gia định tuyến được giữ lại cho mỗi lớp MoE giải mã và lớp MTP, giảm từ 512 xuống còn 384; định tuyến top-10, các chuyên gia chia sẻ, cơ chế chú ý, tháp thị giác và bộ tokenizer không thay đổi. Trọng số giảm từ 102.14 GB xuống 85.66 GB (khoảng −16.1%). Sau đó, mô hình đã trải qua ba vòng huấn luyện LoRA theo kiểu GRPO với phần thưởng có thể kiểm chứng (vòng cuối cùng tập trung vào việc hoàn thiện điểm CVSS và đầu ra phát hiện lỗ hổng có cấu trúc), và đã được hợp nhất thành mô hình đầy đủ. Tác giả cho biết trong một lần đánh giá duy nhất, điểm AIME 2026 là 95.0 (giá trị tham chiếu 93.3), MMLU 87.37, GPQA-Diamond 75.76 và MMMU 78.22 thấp hơn nhẹ so với giá trị tham chiếu.

Tên gốc: autotrust/Qwen3.8-Flash-Next-E384-FP4-V2

Phiên bản rút gọn không chính thức dựa trên nvidia/Qwen3.8-Flash-Next-FP4-Local: Sử dụng tìm kiếm kiến trúc thần kinh (NAS) để chọn ra các chuyên gia định tuyến được giữ lại cho mỗi lớp MoE giải mã và lớp MTP, giảm từ 512 xuống còn 384; định tuyến top-10, các chuyên gia chia sẻ, cơ chế chú ý, tháp thị giác và bộ tokenizer không thay đổi. Trọng số giảm từ 102.14 GB xuống 85.66 GB (khoảng −16.1%). Sau đó, mô hình đã trải qua ba vòng huấn luyện LoRA theo kiểu GRPO với phần thưởng có thể kiểm chứng (vòng cuối cùng tập trung vào việc hoàn thiện điểm CVSS và đầu ra phát hiện lỗ hổng có cấu trúc), và đã được hợp nhất thành mô hình đầy đủ. Tác giả cho biết trong một lần đánh giá duy nhất, điểm AIME 2026 là 95.0 (giá trị tham chiếu 93.3), MMLU 87.37, GPQA-Diamond 75.76 và MMMU 78.22 thấp hơn nhẹ so với giá trị tham chiếu.

Tại sao quan trọng Cùng một thẻ GPU có thể chứa nhiều bộ nhớ đệm KV hoặc xử lý đồng thời hơn; tác giả đã liệt kê cả điểm số các bài toán thông thường và các vấn đề chưa được khắc phục, giúp dễ dàng đánh giá

Điểm tăng 69 · Lượt thích 2439 · Lượt tải xuống 55866

Lý do

  • Phương pháp nén khác với lượng tử hóa thông thường: trên nền tảng đã là FP4, tiếp tục giảm số lượng chuyên gia, nhưng số lượng chuyên gia được kích hoạt cho mỗi token không thay đổi
  • Tác giả đã xác minh trên một thẻ B200 bằng vLLM 0.31, cung cấp các tham số khởi động đầy đủ và script có thể di chuyển serve_vllm.sh

Cách sử dụng

  • Sau khi export PYTHONPATH="$PWD/vllm_patch", chạy vllm serve ., kèm theo các tham số như --quantization modelopt_mixed --kv-cache-dtype fp8 --reasoning-parser qwen3 --tool-call-parser qwen3_xml (xem lệnh đầy đủ trong thẻ mô hình)
  • Cần có file vllm_patch/sitecustomize.py đi kèm với kho lưu trữ, nếu không sẽ không thể đọc được bố cục trọng số FP4 của điểm kiểm tra này

Rủi ro

  • Đây là phiên bản phái sinh không chính thức, không được Alibaba hay NVIDIA bảo trợ; giấy phép là NVIDIA Open Model Agreement
  • Tác giả thừa nhận rằng việc tính toán CVSS vẫn chưa đáng tin cậy: chỉ khoảng 4.5% (CVSS3) và 4.2% (CVSS4) các câu trả lời hoàn chỉnh khớp chính xác với triển khai tham chiếu
  • Các đánh giá đều là chạy đơn lẻ, giá trị tham chiếu lấy từ các số liệu đã công bố trước đó chứ không phải chạy lại trong cùng điều kiện; mục này chưa được chạy

Mở

Hugging Face Trending

Xem tin AI mới nhất