Tiêu đề gốc: OpenMOSS-Team/MOSS-Image-SFT
Phiên bản tinh chỉnh có giám sát (SFT) của dòng MOSS-Image thuộc OpenMOSS (MOSI.AI), được tinh chỉnh từ MOSS-Image-Base, giữ nguyên kiến trúc và quy trình suy luận. Prompt có thể là ngôn ngữ tự nhiên, chuỗi nhãn hoặc bố cục JSON: sử dụng summary.caption và items để mô tả cảnh, văn bản cần hiển thị, các đối tượng và khung vị trí của chúng (định dạng yxyx, tọa độ tuyệt đối được chuẩn hóa), kiểm soát vị trí đặt văn bản và cách sắp xếp đối tượng; thay đổi văn bản, mô tả và khung trong bố cục cho phép thực hiện các chỉnh sửa có cấu trúc. Hình ảnh so sánh từ tác giả cho thấy phiên bản SFT nhóm văn bản rõ ràng hơn và bố cục bảng trắng gọn gàng hơn. VAE tích hợp sử dụng bộ giải mã FLUX.2 small. 10 tháng 11 ngày khởi tạo kho lưu trữ, các kỳ trước chưa được ghi nhận.
Điểm tăng thêm 74 · Lượt thích 917 · Lượt tải xuống 19515
Lý do
- Giải quyết nhu cầu "đặt văn bản tiếng Trung cụ thể vào ảnh, sắp xếp theo bố cục": ví dụ trong thẻ mô hình trực tiếp ghi nội dung ghi chú nhiều dòng bằng tiếng Trung trong prompt; bố cục JSON giúp đặt văn bản và đối tượng vào đúng vị trí, phù hợp với các loại ảnh có bố cục như áp phích, bảng trắng, infographic.
- Hệ sinh thái đầy đủ: kỹ năng mở rộng prompt moss-image-prompt-enhancer (chuyển ý tưởng thành mô tả chi tiết hoặc JSON bố cục, kèm script chỉ tính toán tọa độ, không gọi dịch vụ tạo ảnh), giao diện Gradio, plugin ComfyUI, báo cáo kỹ thuật (arXiv 2610.23374) và Demo trực tuyến.
- Trọng số và mã suy luận đều theo giấy phép Apache-2.0; lượt thích trên Hugging Face là 917 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- diffusers: pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" safetensors Pillow (Python 3.10+, PyTorch 2.9+, card đồ họa NVIDIA), DiffusionPipeline.from_pretrained('OpenMOSS-Team/MOSS-Image-SFT', custom_pipeline='pipeline_moss_image', trust_remote_code=True, torch_dtype={'default': torch.bfloat16, 'vae': torch.float32}), pipe(prompt, height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=22).
- Tham số mặc định: Flow-matching Euler 50 bước, CFG 3, shift 5, bỏ qua lớp thứ 22 trong nhánh tiêu cực, để trống prompt tiêu cực; chiều rộng và chiều cao phải là bội số của 16. Prompt bố cục được truyền vào bằng json.dumps(layout, ensure_ascii=False), kích thước ảnh đầu ra khớp với canvas trong bố cục.
- ComfyUI: Tìm MOSS-Image trong ComfyUI Manager để cài đặt plugin (việc tích hợp vào kho lưu trữ chính thức vẫn đang diễn ra), workflow mẫu nằm trong thư mục comfyui/ của GitHub OpenMOSS/MOSS-Image; nếu không muốn viết bố cục, có thể nhờ agent sử dụng kỹ năng mở rộng để tạo prompt.
Rủi ro
- Mặc định 50 bước, mỗi bước hai lần forward, chậm hơn so với các mô hình ít bước hiện nay; thẻ mô hình không cung cấp dữ liệu về yêu cầu VRAM và tốc độ.
- Tính năng tạo bố cục được đánh dấu là thử nghiệm; kỹ năng mở rộng prompt được thiết kế cho dòng GPT-6, hiệu quả khi dùng với các agent khác chưa rõ.
- Có mã pipeline tùy chỉnh, cần trust_remote_code; thẻ mô hình chỉ có một bộ ảnh so sánh giữa Base và SFT, không có bảng đánh giá định lượng.