Tiêu đề gốc: FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning
Khi thực hiện tinh chỉnh hậu học bằng học tăng cường cho các mô hình khuếch tán, mỗi vòng lặp đều cần tạo mẫu bằng phương pháp lấy mẫu nhiều bước, và chi phí chủ yếu nằm ở đây; các mô hình ít bước có thể tiết kiệm phần lớn chi phí này, nhưng chúng học vận tốc trung bình trên một khoảng thời gian, trong khi các mục tiêu học tăng cường hiện tại được thiết kế cho vận tốc tức thời. FewStepRL thực hiện cải tiến qua ba bước: quy đổi thống nhất các mục tiêu khác nhau sang không gian x, tách gradient thành thành phần tự hồi quy hướng về tham chiếu cộng với thành phần tăng cường phần thưởng, sau đó tính toán lại các điểm neo bằng mô hình ít bước, từ đó thu được các phiên bản ít bước của FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD và ReFL. Kết luận của các tác giả là: khi phần thưởng khả vi và gradient không tốn kém, các phương pháp sử dụng trực tiếp gradient phần thưởng là hiệu quả nhất; nếu không, các phương pháp thuộc nhóm DiffusionNFT có thể đạt được phần thưởng cao với ít vòng lặp hơn; việc tăng số bước trong quá trình suy luận không mang lại lợi ích hệ thống.
Tại sao quan trọng Các mô hình ít bước tạo ảnh nhanh, nhưng các phương pháp học tăng cường hiện tại được thiết kế cho việc lấy mẫu nhiều bước; một mã nguồn thống nhất cho phép các mô hình bốn bước tiếp tục được tinh chỉnh theo phần thưởng dựa trên sở thích.
Thích 8 · Số sao mã nguồn 6
Lý do
- Hướng tới các kịch bản tạo sinh cần tốc độ: bốn bước, không cần CFG để tạo ảnh và video, đồng thời vẫn có thể tiếp tục tối ưu hóa dựa trên các phần thưởng như thẩm mỹ, tính nhất quán giữa hình ảnh và văn bản, và kết xuất văn bản
- Mã nguồn thống nhất nhiều phương pháp thành sự kết hợp của “ba điểm neo + ba trọng số”, giúp dễ dàng so sánh trong cùng một cấu hình
- Mã nguồn và các điểm kiểm tra (checkpoint) cho phiên bản hình ảnh SD3.5-Medium và phiên bản video Wan2.1 đều đã được công bố
Cách sử dụng
- Mã nguồn: https://github.com/EDAPINENUT/fewsteprl-sd35(视频版 EDAPINENUT/fewsteprl-wan21); điểm kiểm tra: Hugging Face Delcher/fewsteprl-sd35
- Sau khi cài đặt các phụ thuộc, chạy download_scripts/download_assets.sh để tải SD3.5-M và các mô hình phần thưởng, sau đó sử dụng scripts/train/<tên>.sh để huấn luyện và scripts/eval/eval_ckpt.sh để đánh giá
Rủi ro
- Cấu hình huấn luyện được viết cho 8 GPU; SD3.5-Medium yêu cầu chấp nhận giấy phép của nó trên Hugging Face trước
- Khi chỉ sử dụng độ chính xác OCR làm phần thưởng, sẽ xảy ra hiện tượng khai thác phần thưởng (reward hacking) và các chỉ số khác bị giảm, điều này đã được ghi rõ trong README
- Kết quả tạo sinh của DMDAWM có các đường lưới nhẹ, đã được làm mờ khi trình bày trong README; mục này chưa được chạy thử