Tiêu đề gốc: MMFlash: Faster Speculative Decoding for Vision-Language Models
Giải mã suy đoán cho phép một mô hình nháp nhẹ đưa ra trước một chuỗi token, sau đó mô hình đích sẽ xác minh song song; các mô hình nháp khuếch tán như DFlash có thể đề xuất cả một khối token trong một lần truyền tiến (forward pass), nhưng chủ yếu dành cho văn bản thuần túy. Các tác giả sử dụng "độ phân kỳ KL của phân phối token tiếp theo khi có/không có hình ảnh" để đo mức độ phụ thuộc của mỗi token vào nội dung hình ảnh, và phát hiện rằng tỷ lệ chấp nhận đối với một phần tư số token ít phụ thuộc nhất là 46%, trong khi con số này ở một phần tư số token phụ thuộc nhiều nhất chỉ đạt 22%, và khoảng cách này vẫn tồn tại ngay cả sau khi huấn luyện đa phương thức. MMFlash tăng trọng số của các loại token này trong quá trình huấn luyện, đồng thời sử dụng cơ chế chú ý thưa (sparse attention) để giảm tính toán dư thừa đối với đầu vào video dài. Bài báo cáo cho biết tốc độ được cải thiện tối đa 3.58 lần mà không gây tổn thất hiệu suất trên nhiều chuẩn benchmark đa phương thức, cao hơn lần lượt tới 195.4% và 17.1% so với EAGLE-3 và DFlash.
Tại sao quan trọng Giải mã nhanh hơn cho các tác vụ hỏi đáp dựa trên hình ảnh và hiểu video mà không làm thay đổi đầu ra; trọng số mô hình nháp đã được công bố, có thể tải trực tiếp bằng SGLang và vLLM phiên bản gốc
Thích 35 · Số sao mã nguồn 22
Lý do
- Mô hình nháp không mã hóa lại hình ảnh hoặc video, mà đọc trực tiếp trạng thái ẩn đã tích hợp thông tin hình ảnh từ mô hình đích, nên chi phí không tăng theo số lượng token thị giác
- Đã công bố trọng số mô hình nháp cho bốn mô hình đích: Qwen3.5-4B, Qwen3.5-9B, Qwen3.8-27B và Gemma 4 E4B-it; mỗi thẻ mô hình kèm theo lệnh triển khai và kết quả đánh giá theo từng chuẩn benchmark
- Kho lưu trữ bao gồm toàn bộ quy trình từ tái tạo dữ liệu, chấm điểm mức độ phụ thuộc thị giác, huấn luyện, xuất mô hình đến đánh giá; cùng một cấu hình cũng có thể dùng để huấn luyện baseline DFlash nhằm mục đích so sánh
Cách sử dụng
- Mã nguồn: Bộ sưu tập MMFlash của tài khoản FSCCS https://github.com/fscdc/MMFlash(MIT);草稿权重在抱脸
- Không cần kho lưu trữ này để triển khai: Khởi động mô hình đích (ví dụ: Qwen/Qwen3.5-4B) bằng SGLang hoặc vLLM phiên bản gốc, chọn thuật toán suy đoán là DFLASH, điền tên mô hình nháp là FSCCS/Qwen3.5-4B-MMFlash, sau đó gửi các yêu cầu kèm hình ảnh qua giao diện tương thích OpenAI
Rủi ro
- Mô hình nháp không thể sử dụng độc lập, bắt buộc phải ghép cặp với mô hình đích tương ứng; hiện tại chỉ hỗ trợ bốn mô hình đích
- Dữ liệu tăng tốc trong README được đo trên một card H200, kích thước batch 1 và chế độ giải mã tham lam (greedy decoding), không hoàn toàn khớp với tiêu chí nêu trong tóm tắt bài báo; quá trình huấn luyện yêu cầu phiên bản SGLang và Mooncake đã được vá lỗi
- Kết quả do tác giả báo cáo; mục này chưa được chạy thử nghiệm