MOSS-Image-heal: Phiên bản fine-tuning MOSS-Image ổn định hơn với suy luận bán chính xác

KBlueLeaf đã thực hiện fine-tuning toàn bộ trên MOSS-Image-Base, chỉ huấn luyện transformer, còn bộ mã hóa văn bản, VAE, v.v. vẫn giữ nguyên như bản chính thức. Mục tiêu là "chữa lành" dòng dư (residual stream): tác giả cho biết giá trị lớn nhất trong dòng giảm từ 58,411 xuống 3,083 (giới hạn fp16 là 65,504), RMS của dòng dư giảm 7.5 lần, các giá trị ngoại lai trong trọng số cũng được giảm bớt, trong khi đầu ra vẫn gần giống với mô hình gốc (cosine similarity của hướng tốc độ là 0.9983). Huấn luyện trên khoảng 320 vạn mẫu, khoảng 200 B300 giờ GPU, hình ảnh lấy từ khoảng 100 vạn ảnh danbooru, phần mô tả bao gồm nhiều định dạng như nhãn, ngôn ngữ tự nhiên và cấu trúc đồ thị GBC. Cung cấp trọng số diffusers và các tệp đơn ComfyUI dạng bf16 / fp16 / int8.

Tiêu đề gốc: KBlueLeaf/MOSS-Image-heal

KBlueLeaf đã thực hiện fine-tuning toàn bộ trên MOSS-Image-Base, chỉ huấn luyện transformer, còn bộ mã hóa văn bản, VAE, v.v. vẫn giữ nguyên như bản chính thức. Mục tiêu là "chữa lành" dòng dư (residual stream): tác giả cho biết giá trị lớn nhất trong dòng giảm từ 58,411 xuống 3,083 (giới hạn fp16 là 65,504), RMS của dòng dư giảm 7.5 lần, các giá trị ngoại lai trong trọng số cũng được giảm bớt, trong khi đầu ra vẫn gần giống với mô hình gốc (cosine similarity của hướng tốc độ là 0.9983). Huấn luyện trên khoảng 320 vạn mẫu, khoảng 200 B300 giờ GPU, hình ảnh lấy từ khoảng 100 vạn ảnh danbooru, phần mô tả bao gồm nhiều định dạng như nhãn, ngôn ngữ tự nhiên và cấu trúc đồ thị GBC. Cung cấp trọng số diffusers và các tệp đơn ComfyUI dạng bf16 / fp16 / int8.

Tại sao quan trọng Tạo ra biên độ số học cho người dùng cần suy luận bán chính xác hoặc lượng tử hóa 8 bit, đầu ra vẫn gần giống với mô hình gốc

Điểm tăng 65 · Lượt thích 67 · Lượt tải 0

Lý do

  • Tác giả cho biết ở chế độ fp16, dòng dư của mô hình gốc chỉ còn cách ngưỡng tràn khoảng 6%, phiên bản heal tạo ra biên độ gấp khoảng 20 lần, giúp suy luận ở độ chính xác thấp và lượng tử hóa ổn định hơn
  • Tất cả các số liệu và biểu đồ đều được đính kèm trong thư mục reports/, phương pháp được viết thành tài liệu công khai
  • Tệp đơn ComfyUI có thể thay thế trực tiếp mô hình trong quy trình làm việc MOSS-Image chính thức

Cách sử dụng

  • ComfyUI: Đặt bất kỳ tệp nào trong thư mục comfyui/ vào models/diffusion_models/, sử dụng bộ mã hóa văn bản và VAE của MOSS-Image chính thức; tệp fp16 kết hợp với tham số --fp16-unet
  • diffusers: Sau khi tải pipeline MOSS-Image-Base chính thức, thay thế transformer bằng phiên bản của kho này

Rủi ro

  • Hình ảnh huấn luyện hoàn toàn lấy từ danbooru, tác giả không giải thích riêng về hiệu suất với các chủ đề tả thực
  • Chỉ có hai bộ mẫu so sánh
  • Bản tin này chưa được chạy thử, hiệu quả thực tế hãy xem theo thẻ mô hình (model card)

Mở

Hugging Face Trending

Xem tin AI mới nhất