Mô hình nháp ngoài Qwen3.8-27B: Tăng tốc giải mã suy đoán của NVIDIA

NVIDIA công bố vào ngày 17 tháng 11, một mô hình nháp bên ngoài được huấn luyện bằng Model Optimizer (4.21 tham số, dựa trên Qwen3.5-4B, dùng chung bộ tokenizer và từ vựng với mô hình đích). Khi phục vụ, nó đề xuất một loạt token ứng viên cùng lúc theo các thiết lập lấy mẫu của mô hình đích; Qwen3.8-27B xác thực bằng phương pháp lấy mẫu từ chối (rejection sampling), đảm bảo phân phối đầu ra cuối cùng giống hệt như khi mô hình đích tự sinh, chỉ giảm độ trễ giải mã. Quá trình huấn luyện sử dụng 199,998 câu lệnh đơn vòng từ Nemotron-Post-Training-Dataset-v2, các câu trả lời do Qwen3.8-27B tạo ra, và ghi lại phân phối xác suất của 20 token đầu tiên tại mỗi vị trí làm tín hiệu huấn luyện.

Tên gốc: nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft

NVIDIA công bố vào ngày 17 tháng 11, một mô hình nháp bên ngoài được huấn luyện bằng Model Optimizer (4.21 tham số, dựa trên Qwen3.5-4B, dùng chung bộ tokenizer và từ vựng với mô hình đích). Khi phục vụ, nó đề xuất một loạt token ứng viên cùng lúc theo các thiết lập lấy mẫu của mô hình đích; Qwen3.8-27B xác thực bằng phương pháp lấy mẫu từ chối (rejection sampling), đảm bảo phân phối đầu ra cuối cùng giống hệt như khi mô hình đích tự sinh, chỉ giảm độ trễ giải mã. Quá trình huấn luyện sử dụng 199,998 câu lệnh đơn vòng từ Nemotron-Post-Training-Dataset-v2, các câu trả lời do Qwen3.8-27B tạo ra, và ghi lại phân phối xác suất của 20 token đầu tiên tại mỗi vị trí làm tín hiệu huấn luyện.

Tại sao quan trọng Phân phối đầu ra hoàn toàn nhất quán với mô hình gốc, chỉ giảm độ trễ giải mã; NVIDIA tuyên bố số lượng từ trung bình được chấp nhận trong mỗi lần xác thực cao hơn đáng kể so với đầu dự đoán đa token tích hợp sẵn của mô hình

Điểm tăng 63 · Lượt thích 67 · Lượt tải xuống 290

Lý do

  • Trên tập con định tính SPEED-Bench, với khối nháp 16: độ dài chấp nhận trung bình là 5.58, trong khi đầu MTP tích hợp của Qwen3.8-27B chỉ đạt 3.81; trên tập con ngữ cảnh dài 32K, tỷ lệ là 5.11 so với 3.86
  • Cùng dòng sản phẩm còn có hai mô hình nháp nhỏ hơn: Qwen3.5-0.8B (3.92 / 3.60) và Llama-3.2-1B (3.42 / 3.07), sử dụng cùng dữ liệu và phương pháp đánh giá
  • Xét theo từng hạng mục, RAG, đa ngôn ngữ và tóm tắt có độ dài chấp nhận cao nhất (6.58, 6.55, 6.19), trong khi nhập vai và viết lách thấp nhất (4.41, 4.59)

Cách sử dụng

  • Khi triển khai, gắn nó làm mô hình nháp bên ngoài cho Qwen3.8-27B: thẻ mô hình liệt kê vLLM là engine được hỗ trợ, đồng thời cho biết có thể tải trong SGLang và TRT-LLM; đầu vào phải dùng bộ tokenizer của Qwen3.8-27B
  • Mô hình nháp lấy mẫu theo nhiệt độ 1.0, top-k 20 và top-p 0.95, giữ nhất quán với thiết lập phục vụ của mô hình đích; độ dài chuỗi huấn luyện là 12,288 token

Rủi ro

  • Thẻ mô hình không cung cấp lệnh khởi động hay mức tăng tốc thực tế, chỉ đưa ra độ dài chấp nhận; NVIDIA chủ yếu nhắm đến triển khai trên LPU Groq 3, và kiến trúc GPU duy nhất được liệt kê là Blackwell
  • Bản thân mô hình nháp có 4.21 tham số, cần chiếm bộ nhớ VRAM cùng với mô hình đích 27B; yêu cầu VRAM bổ sung không được nêu rõ trong thẻ mô hình
  • Giấy phép là NVIDIA Open Model License (cho phép sử dụng thương mại), không phải Apache. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất