Tiêu đề gốc: MOSS-Image-heal
Tác giả cho biết trong luồng dư (residual stream) của phiên bản MOSS-Image-Base gốc có một số ít kênh với giá trị cực lớn, gần chạm ngưỡng giới hạn của fp16; lần fine-tuning toàn diện này chỉ huấn luyện phần transformer, nhằm giảm các giá trị cực đoan đó xuống, đồng thời giữ cho đầu ra gần giống với phiên bản gốc. Kho lưu trữ cung cấp định dạng diffusers và tệp đơn ComfyUI (ConvRot dạng bf16, fp16, int8), nguyên lý được mô tả trong tài liệu KohakuMossTrainer của tác giả.
Tại sao quan trọng Cung cấp một mô hình nền tảng ổn định hơn về mặt số học cho những người chạy MOSS ở độ chính xác bán chính xác (half-precision) hoặc tiếp tục huấn luyện trên đó, với chất lượng hình ảnh đầu ra gần giống bản gốc.
Lượt thích (Hug) 35 · Điểm tăng (Hug) 34 · Lượt tải (Hug) 0
Giấy phép: Được phép sử dụng thương mại · ComfyUI: Được đề cập trong thẻ mô hình · VRAM: Ước tính ≈13 GB
Lý do
- Giấy phép Apache-2.0
- Thẻ mô hình kèm theo hình ảnh so sánh giữa bản gốc và bản fine-tuned với cùng một prompt, cùng toàn bộ báo cáo thống kê
Cách sử dụng
- Trong ComfyUI, sử dụng tệp đơn trong thư mục comfyui/ để thay thế phần transformer của MOSS Base; tác giả thiết lập các mẫu hình ảnh với 16 bước, CFG 3, shift 5
Rủi ro
- Đây là cải tiến ở tầng thấp hướng tới việc huấn luyện và suy luận ở độ chính xác thấp, phong cách hình ảnh đầu ra sẽ không thay đổi đáng kể; sự khác biệt về chất lượng hình ảnh được đánh giá dựa trên các hình ảnh so sánh của tác giả