Tựa đề gốc: Restoring Diversity in Distilled Image and Video Generators by Probing Activations
Việc chưng cất các mô hình khuếch tán (diffusion models) thành các mô hình học sinh ít bước có thể giảm đáng kể độ trễ lấy mẫu, nhưng kết quả sinh ra từ các hạt giống ngẫu nhiên (random seed) khác nhau lại rất ít khác biệt. Các tác giả đã so sánh các kích hoạt nội bộ (internal activations) của mô hình giáo viên và mô hình học sinh, phát hiện rằng tổng phương sai kích hoạt của mô hình học sinh tương đương với mô hình giáo viên, nhưng lại tập trung vào ít hướng hơn nhiều, và sự sụp đổ (collapse) xảy ra tại một mô-đun trung gian trong bước khử nhiễu đầu tiên. ReDiverse cung cấp hai phương pháp khắc phục: ReDiverse-FT huấn luyện các bộ thích ứng (adapter) nhẹ để đưa kích hoạt của mô hình học sinh tại mô-đun này trở lại gần với mô hình giáo viên; ReDiverse-TF không cần huấn luyện, mà điều chỉnh kích hoạt trong quá trình suy luận dọc theo các hướng chính đã được tính toán trước của mô hình giáo viên. Các tác giả tuyên bố đã khôi phục tính đa dạng trên các chuẩn đánh giá chưng cất hình ảnh và video, đồng thời duy trì chất lượng sinh tạo, và các nghiên cứu người dùng cũng ủng hộ kết luận này.
Tại sao quan trọng Việc tạo ảnh và video chỉ trong bốn bước tuy nhanh, nhưng khi đổi hạt giống thì hình ảnh hầu như không thay đổi; phương pháp này khôi phục sự biến đổi mà không cần tăng số bước, và có sẵn bộ thích ứng cho SDXL, Wan, MiniMax H3
Lượt thích 2 · Số sao mã nguồn 2
Lý do
- Bao gồm bốn cặp giáo viên / học sinh: SDXL (DMD2), SD3 (TDM), Wan 2.1 (lightx2v) và MiniMax-H3 (Turbo), đồng thời cung cấp bộ thích ứng cho Pika H3 Flex
- Bộ thích ứng là LoRA chỉ hoạt động ở bước đầu tiên; phiên bản không cần huấn luyện không thay đổi bất kỳ trọng số nào, và hai phương pháp có thể kết hợp sử dụng
- Kèm theo công cụ thăm dò kích hoạt (activation probe), cho phép tự kiểm tra xem mô hình chưng cất bắt đầu sụp đổ từ mô-đun nào
Cách sử dụng
- Mã nguồn: Tài khoản ReDiverse https://github.com/H-furkan/rediverse(Apache-2.0);适配器在抱脸, các tập lệnh sinh tạo sẽ tự động tải xuống khi chạy lần đầu
- Tạo môi trường riêng cho từng mô hình nền (backbone model), sử dụng các lệnh như python -m wan.generate --arm rediverse --prompt "…" --num-samples 4 để sinh tạo; tùy chọn --arm có thể là teacher, student, rediverse_ft, rediverse_tf, hoặc rediverse để đối chiếu
Rủi ro
- Bộ thích ứng tuân theo giấy phép của mô hình nền: phiên bản SDXL chịu ràng buộc bởi CC BY-NC-SA 4.0 và Open RAIL++-M; phiên bản MiniMax-H3 và Pika H3 Flex chịu ràng buộc bởi giấy phép cộng đồng MiniMax H3, không áp dụng cho khu vực Liên minh châu Âu, Vương quốc Anh, Hàn Quốc và Hoa Kỳ
- Phiên bản không cần huấn luyện yêu cầu ước tính hướng của mô hình giáo viên cho từng câu lệnh (prompt) trước, tốn nhiều thời gian hơn đối với mô hình video (README ghi nhận MiniMax-H3 mất khoảng một giờ GPU); các thí nghiệm của tác giả đều sử dụng GPU 80GB H100
- Kết quả do tác giả báo cáo; bài viết này chưa chạy thử nghiệm
Mở · Mã nguồn · Trang bài báo