MOSS-Image-pose-controlnet

Đây là một mô hình điều khiển được huấn luyện theo phương pháp LoRA chỉnh sửa: truyền khung xương màu (nền đen, bao gồm cơ thể, tay và mặt) do DWPose tạo ra làm hình ảnh tham chiếu duy nhất vào nút Text Encode MOSS-Image Edit, mô hình sẽ tuân theo tư thế của khung xương, còn nhân vật, trang phục và bối cảnh được xác định bởi prompt. LoRA có rank 64 cho các lớp tuyến tính, rank 16 cho các lớp tích chập, và lấy bước thứ 4500. Tác giả cũng đã phát hành hai LoRA điều khiển tương tự khác là điều khiển bằng bản đồ độ sâu và điều khiển bằng phân đoạn màu phẳng, kèm theo quy trình làm việc ComfyUI và nhiều bộ hình ảnh minh họa trong kho lưu trữ.

Đây là một mô hình điều khiển được huấn luyện theo phương pháp LoRA chỉnh sửa: truyền khung xương màu (nền đen, bao gồm cơ thể, tay và mặt) do DWPose tạo ra làm hình ảnh tham chiếu duy nhất vào nút Text Encode MOSS-Image Edit, mô hình sẽ tuân theo tư thế của khung xương, còn nhân vật, trang phục và bối cảnh được xác định bởi prompt. LoRA có rank 64 cho các lớp tuyến tính, rank 16 cho các lớp tích chập, và lấy bước thứ 4500. Tác giả cũng đã phát hành hai LoRA điều khiển tương tự khác là điều khiển bằng bản đồ độ sâu và điều khiển bằng phân đoạn màu phẳng, kèm theo quy trình làm việc ComfyUI và nhiều bộ hình ảnh minh họa trong kho lưu trữ.

Tại sao quan trọng MOSS-Image bổ sung khả năng kiểm soát tư thế nhân vật, cùng tác giả còn phát hành hai LoRA điều khiển bằng bản đồ độ sâu và bản đồ phân đoạn.

Hôn và thích 11 · Hôn và tăng điểm 11 · Hôn và tải xuống 0

Giấy phép: Có thể sử dụng thương mại · ComfyUI: Được đề cập trong thẻ mô hình · VRAM: Không ghi rõ

Lý do

  • Giấy phép Apache-2.0; mỗi bộ hình ảnh minh họa đều cung cấp hình ảnh điều khiển và kết quả từ ba prompt khác nhau

Cách sử dụng

  • Tải MOSS-Image-SFT, đặt cường độ LoRA là 1.0, định dạng chỉnh sửa đặt thành ai-toolkit (cần đặt cho cả hai nút mã hóa tích cực và tiêu cực), 30 bước, CFG 4, euler + simple; khung xương được trích xuất bằng DWPose của comfyui_controlnet_aux

Rủi ro

  • Không phải là bộ thích ứng ghép màu/độ sâu chính thức của MOSS; các chi thể bị thiếu trong khung xương cũng không thể được bổ sung bởi prompt
  • Chỉ được huấn luyện và khuyến nghị sử dụng trên MOSS-Image-SFT

Mở

抱脸 image-to-image 新模型

Xem tin AI mới nhất