Tiêu đề gốc: NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
Phương pháp chưng cất đối kháng khuếch tán thường sử dụng đặc trưng hình ảnh để phân biệt. Các tác giả chỉ ra rằng trong Transformer khuếch tán đa phương thức (MMDiT), token văn bản và token hình ảnh đi qua cùng một cơ chế chú ý, đến giữa mạng thì luồng văn bản đã "đọc" hình ảnh, tương đương với một bản tóm tắt hình ảnh được tổ chức theo câu lệnh. NitroFusion2 đề xuất phương pháp chưng cất đối kháng trên luồng văn bản (TSAD), đặt hàm mất mát đối kháng lên trạng thái token văn bản ở các lớp trung gian (kết hợp với hàm mất mát đặc trưng hình ảnh thông thường); đồng thời bổ sung cơ chế phân biệt theo khía cạnh câu lệnh (ACD): thay đổi câu lệnh, cùng một bộ phân biệt bị đóng băng sẽ tập trung vào kiểu chữ, các vật thể được nhắc đến hoặc phong cách hình ảnh. Sau khi tích hợp vào khung bộ phân biệt chuyên gia của NitroFusion, các tác giả tuyên bố đã giảm số bước chưng cất ít bước từ mức phổ biến 4–8 bước xuống còn 1–2 bước mà chất lượng vẫn tương đương. Các điểm kiểm tra (checkpoint) được công bố dựa trên Z-Image-Turbo.
Tại sao quan trọng Đẩy phương pháp chưng cất ít bước từ mức phổ biến bốn đến tám bước xuống còn một đến hai bước, đồng thời đề xuất ý tưởng mới cho phép bộ phân biệt xem xét luồng văn bản
Lượt thích 7 · Số sao mã nguồn 15
Lý do
- Các tác giả tuyên bố chỉ với một bước đã có thể tạo ra chữ hiển thị rõ ràng và chi tiết phong phú, giúp việc tạo ảnh một bước "thực sự hữu ích, chứ không chỉ là bài kiểm tra áp lực cho phương pháp chưng cất"; hai bước vẫn cạnh tranh trên các bộ tiêu chuẩn đánh giá.
- Có thể thực hiện ngay: Trọng số có trên Hugging Face ChenDY/NitroFusion2 (giấy phép Apache-2.0), kèm theo quy trình làm việc ComfyUI cho 1 bước và 2 bước, nhiều phiên bản GGUF từ nf2-Q2_K_4XS (2.0 GB) đến nf2-Q8_0 (7.2 GB), ngoài ra còn có script suy luận diffusers và Demo trực tuyến.
- Kết luận về phương pháp nằm ở chính luồng văn bản của MMDiT—nó đã đọc hình ảnh và liên kết với điều kiện văn bản, có thể được coi là một biểu diễn phân biệt có thể hướng dẫn; lượt thích trên Hugging Face 7, số sao mã nguồn 15 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- ComfyUI: Sử dụng nitrofusion2_1step.json hoặc nitrofusion2_2step.json trong thư mục workflows/ của kho lưu trữ (phiên bản GGUF là nitrofusion2_1step_gguf.json / nitrofusion2_2step_gguf.json); đối với hai bước, các tác giả khuyến nghị kết hợp với LoRA chống chưng cất (nf2-dedistill-lora, đưa mô hình trở lại Z-Image-Turbo), gắn vào ở cường độ 0.5 trong bước đầu tiên và chỉ sử dụng NitroFusion2 trong bước thứ hai để loại bỏ một số khiếm khuyết.
- diffusers: python inference.py --prompt "a cat holding a sign that says hello world" --steps 2 --out cat.png (hỗ trợ từ 1–4 bước); hoặc tải ZImageTransformer2DModel từ thư mục con transformer của ChenDY/NitroFusion2, kết nối với ZImagePipeline của Tongyi-MAI/Z-Image-Turbo, đặt scheduler shift=6.0, đối với hai bước sử dụng sigmas=[1.0, 0.5] và guidance_scale=0.0.
Rủi ro
- Tóm tắt chỉ nói "chất lượng tương đương" và "có tính cạnh tranh", README không liệt kê bảng đánh giá; các tác giả thừa nhận rằng nếu dùng hai bước mà không thêm LoRA chống chưng cất thì sẽ có một số khiếm khuyết.
- Mô hình cơ sở là Z-Image-Turbo, khi sử dụng đồng thời chịu ràng buộc bởi giấy phép của nó; README chỉ cung cấp suy luận, không đề cập đến mã huấn luyện.