원제: NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
적대적 확산 증류는 일반적으로 이미지 특성을 판별에 사용한다. 저자들은 멀티모달 확산 트랜스포머(MMDiT)에서 텍스트 토큰과 이미지 토큰이 동일한 어텐션 메커니즘을 거치며, 네트워크 중간 단계에서는 텍스트 스트림이 이미지를 이미 '읽은' 상태가 되어 프롬프트에 따라 구성된 이미지 요약본 역할을 한다고 지적한다. NitroFusion2은 텍스트 스트림 적대적 증류(TSAD)를 제안하여, 일반적인 이미지 특성 손실과 병행해 중간 계층의 텍스트 토큰 상태에 적대적 손실을 적용한다. 또한 측면별 프롬프트 기반 판별(ACD)을 도입했다: 프롬프트를 변경하면 동일한 동결된 판별기가 글꼴 배치, 언급된 객체 또는 이미지 스타일에 각각 집중하도록 한다. NitroFusion의 전문가 판별기 프레임워크에 통합한 후, 저자들은 일반적인 4–8단계의 소수 단계 증류를 1–2단계로 줄이면서도 품질은 동등하다고 밝혔다. 공개된 체크포인트는 Z-Image-Turbo를 기반으로 한다.
중요성 소수 단계 증류를 일반적인 48단계에서 12단계로 확장하고, 판별기가 텍스트 스트림을 참조하는 새로운 접근법을 제시함
좋아요 7 · 코드 스타 수 15
이유
- 저자들은 한 단계로도 명확한 렌더링된 텍스트와 풍부한 디테일을 생성할 수 있어, 한 단계 생성이 '단순한 증류 스트레스 테스트가 아닌 실제 사용 가능한 수준'이라고 주장하며, 두 단계는 평가된 벤치마크에서도 경쟁력 있는 성능을 유지한다고 밝혔다.
- 재현 가능: 가중치는 Hugging Face의 ChenDY/NitroFusion2(Apache-2.0)에 있으며, 1단계 및 2단계 ComfyUI 워크플로우가 포함되어 있다. GGUF 모델은 nf2-Q2_K_4XS(2.0 GB)부터 nf2-Q8_0(7.2 GB)까지 다양한 크기로 제공되며, diffusers 추론 스크립트와 온라인 데모도 지원된다.
- 방법론적 결론은 MMDiT의 텍스트 스트림 자체에 있다. 텍스트 스트림은 이미지를 참조하고 텍스트 조건과 연결되어 있어 유도 가능한 판별 표현으로 활용될 수 있다. Hugging Face 좋아요 7, 코드 스타 수 15(단순히 관심도를 나타냄).
사용법
- ComfyUI: 저장소의 workflows/ 폴더에 있는 nitrofusion2_1step.json 또는 nitrofusion2_2step.json을 사용한다(GGUF 버전은 nitrofusion2_1step_gguf.json / nitrofusion2_2step_gguf.json). 두 단계 생성 시 저자들은 역증류 LoRA(nf2-dedistill-lora, 모델을 Z-Image-Turbo로 복원)를 함께 사용하는 것을 권장한다. 첫 번째 단계에서는 0.5 강도로 적용하고, 두 번째 단계에서는 NitroFusion2만 사용하여 일부 결함을 제거한다.
- diffusers: python inference.py --prompt "a cat holding a sign that says hello world" --steps 2 --out cat.png(1–4단계 지원)를 실행하거나, ChenDY/NitroFusion2의 transformer 하위 디렉토리에서 ZImageTransformer2DModel을 로드하여 Tongyi-MAI/Z-Image-Turbo의 ZImagePipeline에 연결한다. 스케줄러는 shift=6.0으로 설정하고, 두 단계 생성 시 sigmas=[1.0, 0.5], guidance_scale=0.0을 사용한다.
리스크
- 요약에서는 '품질 동등', '경쟁력 있음'이라고만 언급했으며, README에는 평가 표가 포함되어 있지 않다. 저자들은 두 단계 생성 시 역증류 LoRA를 사용하지 않으면 일부 결함이 발생할 수 있음을 인정했다.
- 기본 모델은 Z-Image-Turbo이므로 사용 시 해당 라이선스 조건을 준수해야 한다. README에는 추론 코드만 제공되며, 학습 코드는 언급되지 않았다.
열기 · 코드 · Hugging Face 논문 페이지