Tiêu đề gốc: DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding
Giải mã khuếch tán suy đoán sử dụng một mô hình dự thảo song song nhỏ để tạo ra một khối token ứng viên trong một lần truyền tiến, sau đó được xác minh song song bởi mô hình lớn. Các tác giả chỉ ra ba điểm yếu trong cách các mô hình dự thảo song song như DFlash và DSpark đọc các đặc trưng của mô hình mục tiêu: phép chiếu mã hóa làm phá vỡ không gian đặc trưng của mô hình mục tiêu (được các tác giả gọi là trộn dư lượng), không ghi nhớ các đề xuất bị từ chối trước đó, và việc lấy đặc trưng đồng đều từ các lớp sẽ bỏ sót các trạng thái ẩn quan trọng. DNeo sử dụng cơ chế chú ý đặc trưng hỗn hợp có bộ nhớ làm việc (MoFA) để mã hóa các đề xuất bị từ chối thành bộ nhớ, cộng thêm tích chập nhân quả hai ngăn, chỉ thực hiện chú ý chéo trên phần tiền tố, và chọn không đồng đều các lớp mục tiêu; các tác giả tuyên bố tốc độ sinh là 1.3 lần so với DFlash-2 tốt nhất hiện tại, trong khi kích thước mô hình dự thảo và chất lượng sinh không đổi.
Tại sao quan trọng Tốc độ tăng của giải mã suy đoán phụ thuộc vào số lượng bản nháp được chấp nhận; các tác giả tuyên bố tốc độ sinh vượt qua DFlash-2 tốt nhất trước đó, trong khi kích thước bản nháp và chất lượng đầu ra không đổi
Thích 3 · Số sao mã nguồn 4
Lý do
- Đã phát hành trọng số dự thảo cho Qwen3-4B (chế độ suy nghĩ) J-sandler/Qwen3-4B-DNeo: khung xương song song 5 lớp, soạn thảo 15 token trong một lần truyền tiến, đặc trưng được lấy từ 7 lớp được chọn của mô hình mục tiêu
- Các tác giả đo lường trên một GPU H100 80GB, với kích thước lô 1: SGLang chấp nhận trung bình 4.51 token mỗi lần truyền tiến, giải mã 701 token/s, gấp 2.96 lần so với tự hồi quy từng từ; trong Transformers là 3.37 lần
- Trọng số dự thảo theo giấy phép Apache-2.0, mã suy luận theo giấy phép MIT
Cách sử dụng
- Mã nguồn: https://github.com/J-sandler/DNeo;权重:https://huggingface.co/J-sandler/Qwen3-4B-DNeo,必须和 sử dụng kết hợp với Qwen/Qwen3-4B, mô hình dự thảo không thể tự sinh độc lập
- Phiên bản này yêu cầu runtime shared-router phiên bản 0.1.0rc6 trở lên: tải về dneo-inference-source.tar.gz từ kho trọng số, cài đặt phiên bản Transformers hoặc SGLang gốc theo hướng dẫn trong INSTALL.md; trình tải five-router cũ không thể đọc được
Rủi ro
- Hiện tại chỉ có trọng số dự thảo cho một mô hình mục tiêu duy nhất là Qwen3-4B
- Điều kiện đo tốc độ là độ dài lời nhắc tối đa 256 token, đầu ra cố định 512 token, giới hạn ngữ cảnh 1024, các tác giả cho biết kết quả thay đổi theo tải; không có dữ liệu cho ngữ cảnh dài và lô lớn. Mục này chưa được chạy
Mở · Mã nguồn · Trang bài báo