Tiêu đề gốc: Pinkstack/LiliPixel-V1-190M
Pinkstack tải lên vào ngày 19 tháng 11, một mô hình DiT đơn luồng được huấn luyện từ đầu (tham số có thể huấn luyện là 1.91 tỷ, 24 lớp, chiều rộng 768), xuất bản địa ba độ phân giải tranh pixel: 16×16, 32×32 và 64×64. Ở độ phân giải 16 và 32 pixel, mô hình tạo ra sprite trong suốt nền RGBA; ở độ phân giải 64 pixel, mô hình tạo ra cảnh không trong suốt. Thêm “realistic photo,” vào đầu câu lệnh để bật chế độ tả thực. Bộ mã hóa văn bản sử dụng MongoDB/voyage-4-nano đã đóng băng (khoảng 3.46 tỷ tham số, tự động tải xuống lần đầu tiên), câu lệnh tối đa 96 token. Huấn luyện trong 13.2 vạn bước, dữ liệu đến từ bốn bộ dữ liệu tranh pixel công khai.
Tại sao quan trọng Có thể trực tiếp tạo ra sprite pixel nền trong suốt cho tài nguyên game; tác giả tuyên bố suy luận chỉ cần khoảng 1GB bộ nhớ, có thể chạy trên CPU, kèm theo nút ComfyUI
Điểm tăng thêm 30 · Lượt thích 31 · Lượt tải xuống 141
Lý do
- Tác giả tuyên bố suy luận BF16 chỉ cần khoảng 1GB bộ nhớ, tạo ảnh gần như tức thì trên GPU hoặc thậm chí CPU, khuyến nghị tạo ra hơn 4 ảnh với cùng một câu lệnh rồi chọn lọc
- Cách viết câu lệnh được hướng dẫn rõ ràng: kết thúc bằng “, transparent background” cho độ phân giải 16 / 32 pixel; viết theo mẫu “chủ thể, hành động, on \u003cmàu\u003e background” cho độ phân giải 64 pixel, câu lệnh càng ngắn càng tốt
- Kèm theo nút tùy chỉnh ComfyUI một tệp và quy trình làm việc mẫu, có thể xuất ảnh RGBA kèm alpha và mặt nạ
Cách sử dụng
- diffusers: DiffusionPipeline.from_pretrained("Pinkstack/LiliPixel-V1-190M", custom_pipeline="Pinkstack/LiliPixel-V1-190M", trust_remote_code=True), đặt height / width thành 16, 32 hoặc 64; dưới 32 pixel dùng 30 bước, ở 64 pixel dùng 50 bước, CFG là 3.0
- ComfyUI: đặt comfyui-workflow/ComfyUI_LiliPixel.py vào custom_nodes, chạy pip install -U diffusers "transformers\u003e=4.56" accelerate, sau đó kéo tệp LiliPixel_V1.json vào
Rủi ro
- Tham số và dữ liệu đều nhỏ, không vẽ tốt các cảnh phức tạp, vật thể hiếm gặp và văn bản; độ phân giải 16 pixel không chứa được hơn hai chủ thể, độ phân giải 64 pixel dễ bị lệch chủ đề
- Dữ liệu cảnh ở độ phân giải 64 pixel được thu nhỏ từ ảnh tổng hợp FLUX; giấy phép là OpenMDW-1.1, cần trust_remote_code và kết nối internet để tải bộ mã hóa văn bản. Mục này chưa được chạy thử