Mô hình nháp song song có thể soạn thảo một khối token hoàn chỉnh chỉ trong một lần truyền tiến, nhưng các tác giả cho rằng hệ thống được phát hành chính thức chưa tận dụng hết tốc độ tăng này: đối với từng yêu cầu riêng lẻ, mỗi bước chỉ chấp nhận một lượng nhỏ token nhưng vẫn phải đọc toàn bộ trọng số của mô hình đích; khi xử lý theo lô, chi phí xác minh cho từng yêu cầu làm giảm tỷ lệ tăng tốc xuống khoảng một nửa; hơn nữa, phương pháp tối ưu thay đổi tùy thuộc vào kịch bản phục vụ, mô hình nháp, mô hình đích và card đồ họa. SpecPilot là một vòng lặp tối ưu hóa tự động: ở mỗi vòng, nó sử dụng mô hình chi phí để xác định thành phần có khoảng cách lớn nhất so với giới hạn trên của hệ thống hiện tại, nhiều tác nhân khám phá các hướng song song và hợp nhất những thay đổi thành công, trong khi tác nhân con về kernel chuyên điều chỉnh các kernel còn xa nhất so với giới hạn băng thông bộ nhớ; sử dụng kỹ thuật ép buộc token (token forcing) để đối chiếu từng token đầu ra với bản gốc nhằm ngăn chặn "gian lận phần thưởng"; bộ nhớ có cấu trúc mang các cơ chế đã được xác minh sang vòng tiếp theo và các triển khai mới. Kho lưu trữ cung cấp các công cụ suy luận (dựa trên phiên bản SGLang rút gọn) mà nó đã tìm thấy cho 6 loại triển khai khác nhau, kèm theo các tập lệnh khởi động, đo tốc độ và kiểm tra.
Thích 16 · Số sao mã nguồn 82
Lý do
- Tác giả tuyên bố không cần huấn luyện, không gây suy giảm chất lượng, tốc độ tăng tốc tương đối so với mô hình tự hồi quy trong trường hợp một yêu cầu tăng từ 4.46 lần lên 10.87 lần so với bản gốc, và trong trường hợp xử lý theo lô tăng từ 1.94 lần lên 3.93 lần; bảng trong README cho thấy trên H100, Qwen3.8-27B + DFlash2 tăng từ 3.95 lần lên 8.86 lần, kèm theo tỷ lệ tăng tốc và khoảng tin cậy được tính lại từ bốn cấu hình H100 bằng cách chạy lại hoàn toàn mới.
- Các cơ chế được tìm thấy có thể được đọc riêng lẻ: định dạng trọng số 12 bit không tổn hao W12 (BF16 được tách thành ba mặt phẳng bit 4 bit, được khôi phục từng bit trong thanh ghi GEMM, tác giả tuyên bố rằng chỉ riêng việc sử dụng định dạng này đã giúp giải mã BF16 của các mô hình đặc 8–30B nhanh hơn 1.15–1.26 lần), xác minh hai cấp, xác minh cây cho các mô hình mục tiêu có cấu trúc vòng lặp hỗn hợp, và ba cơ chế xử lý theo lô.
- Có thể thực hiện theo: mã nguồn theo giấy phép Apache-2.0, mỗi cấu hình chỉ sử dụng một thẻ đồ họa, các tập lệnh chịu trách nhiệm cài đặt môi trường, tải xuống các điểm kiểm tra theo phiên bản cố định, khởi động dịch vụ tương thích OpenAI và thực hiện đo tốc độ so sánh; số lượt thích trên Hugging Face vào ngày đăng là 16, số sao mã nguồn là 82 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- Tạo môi trường: bash scripts/setup_env.sh (Python 3.11, torch 2.13 + CUDA 13.0, phụ thuộc được khóa phiên bản); tải xuống điểm kiểm tra cho một cấu hình cụ thể: bash scripts/download_models.sh h100_c1_qwen38-27b_dflash2 (tên cấu hình chính là tên thư mục trong settings/).
- Khởi động dịch vụ: bash scripts/serve.sh h100_c1_qwen38-27b_dflash2 final 0 khởi động công cụ SpecPilot trên card số 0 tại cổng 30000; thay thế final bằng stock / ar để khởi động bản gốc và bản tự hồi quy làm đối chứng; giao diện tương thích với HTTP của SGLang và OpenAI.
- Đo tốc độ: bash scripts/bench.sh <cấu hình> final-1 0, sau đó sử dụng scripts/compare.py speed để so sánh tỷ lệ tăng tốc, scripts/score.py để chấm điểm cho gsm8k / humaneval / math500 / mbpp; mỗi công cụ cần biên dịch kernel khi khởi động lần đầu, hãy chạy thử một vòng trước khi đo thời gian.
Rủi ro
- Phần cứng hạn chế: chỉ được thử nghiệm trên H100 80GB và RTX PRO 6000 Blackwell 96GB, kernel cho RTX PRO 6000 chỉ được biên dịch cho sm_120a; torch 2.13 + CUDA 13.0 yêu cầu trình điều khiển R580, các trình điều khiển cũ cần thư viện tương thích ngược.
- Chỉ bao phủ 6 tổ hợp cố định (Qwen3.8-27B / Muse-Glimmer-30B kết hợp với DFlash2 / DSpark), kho lưu trữ cung cấp các công cụ đã tìm thấy, không có hướng dẫn khởi động vòng lặp tối ưu hóa của tác nhân, nên không thể tái sử dụng trực tiếp khi thay đổi mô hình hoặc mô hình nháp.
- "Không mất mát" có nghĩa là trong giải mã tham lam (greedy decoding), mỗi token đều do mô hình đích quyết định; README ghi rõ đầu ra không nhất quán từng bit với tự hồi quy (do thứ tự tính toán của xác minh theo lô khác nhau, các trường hợp gần bằng nhau có thể bị đảo ngược), điểm số kèm theo chỉ dùng để kiểm tra tính toàn vẹn; tất cả các con số tăng tốc đều do tác giả báo cáo.
Biên tập: Phù hợp với các nhóm đã và đang phục vụ Qwen3.8-27B kết hợp với DFlash2 / DSpark trên một card đơn; độc giả quan tâm đến tối ưu hóa suy luận nên tập trung vào hai phần định dạng trọng số W12 và xác minh hai cấp.