Các mô hình ngôn ngữ thị giác khuếch tán (như LLaDA-V) phải tính toán lại toàn bộ các token thị giác của hình ảnh ở mỗi bước khử nhiễu, trong khi các token thị giác chiếm 89–97% đầu vào. Các tác giả phát hiện ra rằng việc loại bỏ hình ảnh chỉ làm thay đổi các token đang được giải mã trong trung bình 22.8% số bước. Ở mỗi bước, LOWN trước hết dự đoán các token bị che mà không nhìn vào hình ảnh; chỉ khi dự đoán này không nhất quán với dự đoán từ lần trước khi có nhìn hình ảnh, thì hình ảnh mới thực sự được xử lý. Các phần nhất quán được coi là “đã được chứng nhận” và có thể tái sử dụng trực tiếp; số lượng token được chứng nhận bằng bao nhiêu thì sẽ giải mã bấy nhiêu.
Lượt thích 91 · Số sao mã nguồn 7
Lý do
- Không cần huấn luyện, không cần điều chỉnh ngưỡng: Các tác giả tuyên bố rằng trên mười bộ chuẩn đánh giá, phương pháp này giữ lại 99.6% điểm số của LLaDA-V, chỉ sử dụng trung bình 35.3% FLOPs giải mã.
- Có thể kết hợp: Các tác giả tuyên bố phương pháp này có thể mở rộng sang các mô hình ngôn ngữ thị giác khuếch tán khác dựa trên LLaDA, trực giao với việc cắt tỉa token thị giác, và còn có thể tăng tốc độ hơn nữa khi sử dụng bộ nhớ đệm KV.
- Chỉ cần hai lệnh để chạy so sánh: Trong ví dụ về gấu COCO của README, với cùng một hình ảnh, LLaDA-V tiêu tốn khoảng 1930 TFLOPs, trong khi LOWN chỉ khoảng 812 TFLOPs, tương đương mức giảm 0.421 (các tác giả cho biết đây là ước tính giải tích cho bộ giải mã và đầu ra mô hình ngôn ngữ, dựa trên ví dụ một hình ảnh).
Cách sử dụng
- Môi trường: Linux, Python 3.11, một GPU NVIDIA có dung lượng VRAM từ 32 GB trở lên (PyTorch CUDA 12.6).
- Chạy: git clone github.com/hyeon9698/LOWN → bash setup.sh (tạo môi trường ảo .venv cục bộ, tự động tải trọng số LLaDA-V và SigLIP2 khi chạy lần đầu) → bash evaluate.sh --gpu 0, kết quả và FLOPs sẽ được ghi vào outputs/result.json.
- Sử dụng hình ảnh của bạn: bash evaluate.sh --gpu 0 --method lown --image đường_dẫn_hình_ảnh --prompt "Describe this image."
Rủi ro
- Chỉ áp dụng cho các mô hình ngôn ngữ thị giác khuếch tán như LLaDA-V, không áp dụng cho các mô hình ngôn ngữ thị giác tự hồi quy phổ biến.
- README chỉ cung cấp demo một hình ảnh và ước tính FLOPs, không có kịch bản tái hiện cho mười bộ chuẩn đánh giá, cũng không cung cấp độ trễ thời gian thực; kho lưu trữ không ghi giấy phép (chứa mã nguồn LLaDA-V, tuân theo giấy phép của nó).
- Các con số về việc duy trì điểm số và tiết kiệm năng lực tính toán là do các tác giả báo cáo.