Đây là LoRA chưng cất hạng 64 do tác giả cộng đồng lvladikov huấn luyện cho MOSS-Image SFT của OpenMOSS, được huấn luyện bằng phương pháp khớp phân phối eDMD kết hợp với bộ phân biệt đối kháng LADD (bộ phân biệt này đồng thời so sánh ảnh từ phiên bản gốc 50 bước và khoảng 8000 bức ảnh thật), tạo ảnh trong 4 bước với CFG 1, quá trình huấn luyện bao phủ 12 độ phân giải khác nhau, từ 768×512 đến 1824×1024. Tác giả cho biết trên Comfy Cloud, thời gian GPU để tạo ra cùng 22 bức ảnh kích thước 1024×1024 đã giảm từ 387.3 giây xuống còn 26.6 giây; trong số 15 câu lệnh yêu cầu viết chữ, có 14 câu lệnh viết đúng toàn bộ chữ (phiên bản gốc chỉ đạt 15 câu). Kho lưu trữ cung cấp mã diffusers, tệp LoRA đã được hiệu chỉnh để tải theo cách của ComfyUI, cùng bốn loại quy trình làm việc: tạo ảnh từ văn bản, khung bố cục, chỉnh sửa ảnh và phóng to PiD gấp 4 lần (mỗi loại có một phiên bản cho môi trường cục bộ và một phiên bản cho Comfy Cloud).
Tại sao quan trọng Mỗi bước chỉ gọi mô hình một lần và không chạy câu lệnh phủ định, tác giả cho biết thời gian GPU cho cùng một loạt ảnh giảm xuống khoảng 1/14; kèm theo tệp dành riêng cho ComfyUI và quy trình làm việc gồm 8 nút cốt lõi.
Lượt thích trên Hugging Face: 13 · Lượt tăng hạng trên Hugging Face: 13 · Lượt tải xuống trên Hugging Face: 4
Giấy phép: Được phép sử dụng thương mại · ComfyUI: Có đề cập trong thẻ mô hình · VRAM: 196 GB
Lý do
- Thẻ mô hình kèm theo so sánh song song cùng một hạt giống giữa phiên bản gốc 50 bước, LoRA 4 bước của akhaliq và LoRA này, cũng như tất cả các ảnh được tạo ra ở 12 độ phân giải khác nhau
- Giấy phép Apache-2.0, giống với mô hình cơ sở; có bản demo trực tuyến trên Hugging Face
Cách sử dụng
- ComfyUI: Đặt tệp moss_sft_4step_rank_64_lora_comfyui.safetensors vào thư mục models/loras, sử dụng mô hình cơ sở là moss_image_sft_bf16 từ Comfy-Org/MOSS-Image, kéo thả tệp moss_sft_4step_lora_t2i_local.json; cấu hình euler với 'Manual Sigmas' là "1.0, 0.91, 0.717, 0.024, 0.0", CFG 1, cường độ LoRA 1.0, không thêm câu lệnh phủ định
- diffusers: Gắn phiên bản LoRA tiêu chuẩn vào transformer bằng hàm apply_4step_lora được cung cấp trong thẻ mô hình, đặt num_inference_steps=4 và guidance_scale=1.0
Rủi ro
- Chỉ áp dụng cho MOSS-Image SFT; hệ số hiệu chỉnh của tệp ComfyUI được đo trên mô hình cơ sở bf16, chưa kiểm tra trên tệp int8 của mẫu chính thức
- Các vấn đề do tác giả liệt kê: biển hiệu không yêu cầu viết chữ vẫn xuất hiện ký tự lộn xộn, thỉnh thoảng thừa vật thể hoặc người, cảnh tối sáng hơn so với phiên bản gốc; khi tăng cường độ lên trên 1.0 sẽ xuất hiện viền kép thay vì thêm chi tiết
- Tất cả các số liệu đều do tác giả tự kiểm tra; con số 196 GB ghi trên thẻ là VRAM đỉnh trong quá trình huấn luyện, còn VRAM khi suy luận phụ thuộc vào mô hình cơ sở MOSS-Image