MOSS AnyPaint là một LoRA chức năng do cộng đồng phát triển cho MOSS-Image-Base (rank 32): các vùng màu trắng trong mặt nạ sẽ được tạo lại, còn các vùng màu đen được giữ nguyên; cùng một bộ đầu vào vừa có thể dùng để vẽ lại cục bộ, vừa có thể mở rộng hình ảnh sang một canvas lớn hơn. Mặt nạ có thể mảnh, cong, vượt ra ngoài biên của ảnh gốc hoặc gồm nhiều phần rời rạc. Khuyến nghị kết hợp với LoRA chưng cất DMD2 10 bước của Base 8, xuất ảnh trong 8 bước với CFG 1, và lượng tử hóa DiT đã đóng băng bằng qfloat8. Tác giả nhấn mạnh rằng không thể sử dụng trình tải LoRA thông thường hay mã Diffusers được tự động sinh ra bởi Hugging Face, mà phải dùng script đi kèm trong kho lưu trữ hoặc node ComfyUI của tác giả.
Tại sao quan trọng Một LoRA duy nhất vừa xử lý việc vẽ lại bên trong khung hình vừa mở rộng ra ngoài biên ảnh; mặt nạ có thể có bất kỳ hình dạng nào và gồm nhiều phần không liên kết với nhau; tác giả cũng cung cấp riêng các node ComfyUI.
Lượt thích trên Hugging Face 9 · Điểm tăng hạng trên Hugging Face 9 · Lượt tải xuống từ Hugging Face 296
Giấy phép: Có thể sử dụng thương mại · ComfyUI: Được đề cập trong thẻ mô hình (model card) · VRAM: Không ghi rõ yêu cầu VRAM
Lý do
- LoRA và mã suy luận tuân theo giấy phép Apache-2.0; mỗi ví dụ đều kèm theo ảnh gốc, mặt nạ, kết quả và prompt
- Tác giả cũng đã phát hành các node ComfyUI và hướng dẫn quy trình làm việc từng bước
Cách sử dụng
- Chạy lệnh hf download yijunwang2/moss-anypaint, sau khi cài đặt bằng pip install -r requirements.txt thì dùng example.py để chỉ định --source, --mask, --prompt và kích thước canvas; khi mở rộng ảnh, thêm tham số --bbox để xác định vị trí của ảnh gốc trên canvas mới
- ComfyUI: Cài đặt các node theo hướng dẫn tại github.com/alexw5702-afk/moss-anypaint
Rủi ro
- Các node ComfyUI đến từ một kho lưu trữ GitHub của bên thứ ba, chưa được kiểm toán bởi chuyên mục này, vui lòng tự kiểm tra mã nguồn trước khi cài đặt
- Yêu cầu card đồ họa CUDA hỗ trợ BF16; khi vùng tạo sinh quá lớn, có thể xuất hiện các vật thể không liên quan, và các vùng không được che bằng mặt nạ cũng sẽ có những thay đổi nhỏ sau khi qua VAE