LoRA chưng cất 4 bước MOSS-Image

Tác giả cộng đồng lvladikov đã cung cấp LoRA chưng cất 4 bước (rank 64) cho quá trình huấn luyện SFT MOSS-Image của OpenMOSS, được tải lên vào ngày 19 tháng 11, với điểm kiểm tra hiện tại được tạo ra vào ngày 20 tháng 11. Phương pháp sử dụng khớp phân phối eDMD, căn chỉnh với mô hình giáo viên 50 bước, CFG 3, đồng thời bổ sung một bộ phân biệt đối kháng quy mô nhỏ kiểu LADD để so sánh ảnh của học sinh với ảnh của giáo viên và khoảng 8,000 ảnh chụp thật được cắt xén. Việc tạo ảnh chỉ cần 4 bước, CFG 1, với một lần gọi mô hình mỗi bước (giáo viên tổng cộng 100 lần); quá trình huấn luyện mất khoảng 57 giờ trên một card NVIDIA B300, bao phủ 12 độ phân giải từ 768×512 đến 1824×1024.

Tên gốc: lvladikov/MOSS-SFT-Distill-4step-LoRA

Tác giả cộng đồng lvladikov đã cung cấp LoRA chưng cất 4 bước (rank 64) cho quá trình huấn luyện SFT MOSS-Image của OpenMOSS, được tải lên vào ngày 19 tháng 11, với điểm kiểm tra hiện tại được tạo ra vào ngày 20 tháng 11. Phương pháp sử dụng khớp phân phối eDMD, căn chỉnh với mô hình giáo viên 50 bước, CFG 3, đồng thời bổ sung một bộ phân biệt đối kháng quy mô nhỏ kiểu LADD để so sánh ảnh của học sinh với ảnh của giáo viên và khoảng 8,000 ảnh chụp thật được cắt xén. Việc tạo ảnh chỉ cần 4 bước, CFG 1, với một lần gọi mô hình mỗi bước (giáo viên tổng cộng 100 lần); quá trình huấn luyện mất khoảng 57 giờ trên một card NVIDIA B300, bao phủ 12 độ phân giải từ 768×512 đến 1824×1024.

Tại sao quan trọng Tác giả tuyên bố tiết kiệm khoảng mười bốn lần thời gian GPU khi tạo ảnh, tông màu sát với mô hình gốc, văn bản cũng cơ bản được viết đúng; có thể chạy chỉ với các nút lõi của ComfyUI

Điểm tăng 30 · Lượt thích 33 · Lượt tải 2685

Lý do

  • Tác giả tuyên bố trên Comfy Cloud, với cùng 22 ảnh 1024×1024, thời gian GPU tính phí là 26.6 giây so với 387.3 giây, tiết kiệm khoảng 14 lần; trên 21 câu lệnh thử nghiệm, độ sáng trung bình thấp hơn mô hình giáo viên 1.0 L*, chi tiết kết cấu mịn gấp 1.16 lần so với giáo viên
  • Trong 15 câu lệnh chứa văn bản, 14 câu lệnh viết đúng toàn bộ ký tự yêu cầu (mô hình giáo viên 15 câu lệnh, LoRA 4 bước của akhaliq 12 câu lệnh)
  • Kèm theo mười workflow ComfyUI (văn bản sang ảnh, bố cục trang, chỉnh sửa ảnh, phóng to PiD 4 lần, v.v., mỗi loại một bản cho cục bộ và Comfy Cloud), chỉ sử dụng các nút lõi; ngoài ra còn có tệp đã hiệu chỉnh dành cho trình tải LoRA tiêu chuẩn của ComfyUI

Cách sử dụng

  • ComfyUI: đặt moss_sft_4step_rank_64_lora_comfyui.safetensors vào models/loras, cường độ 1.0, mô hình cơ sở dùng moss_image_sft_bf16 từ Comfy-Org/MOSS-Image; bộ lấy mẫu euler + Manual Sigmas "1.0, 0.91, 0.717, 0.024, 0.0", CFG 1 (Basic Guider)
  • diffusers: sử dụng hàm apply_4step_lora trong thẻ để gắn moss_sft_4step_rank_64_lora.safetensors vào transformer, num_inference_steps=4, guidance_scale=1.0
  • Không sử dụng bộ lập lịch simple của ComfyUI; giữ cường độ ở mức 1.0, tác giả tuyên bố rằng tăng cường độ chỉ gây ra viền kép và không tăng thêm chi tiết

Rủi ro

  • Chỉ tương thích với MOSS-Image SFT và lịch lấy mẫu của nó; các kích thước vượt quá phạm vi huấn luyện như 2848×1600 mặc định trong mẫu chính thức cần kèm theo câu lệnh rất dài, trên máy Mac, giải mã VAE kích thước lớn sẽ báo lỗi, cần chuyển sang giải mã theo khối
  • Các vấn đề do tác giả liệt kê: bịa đặt ký tự ở những nơi không chỉ định văn bản, đám đông trong ảnh dọc giống nhau, số lượng người trên bàn ăn nhiều người không chính xác, thỉnh thoảng có lỗi chính tả; tất cả ảnh so sánh đều do tác giả tạo ra, giấy phép mô hình cơ sở xem riêng, mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất