원제: KBlueLeaf/MOSS-Image-heal
KBlueLeaf가 MOSS-Image-Base를 기반으로 수행한 전체 미세 조정으로, 트랜스포머만 학습하고 텍스트 인코더, VAE 등은 공식 버전을 그대로 사용합니다. 목표는 잔차 스트림(residual stream)을 '치유'하는 것입니다. 저자는 스트림 내 최대값이 58,411에서 3,083로 감소했다고 주장합니다(fp16 상한 65,504). 잔차 스트림의 RMS는 7.5배 감소했으며, 가중치 이상치(outlier)도 낮아졌고, 출력은 기본 모델과 유사한 수준을 유지합니다(속도 방향 코사인 유사도 0.9983). 학습에는 약 320만 개의 샘플과 약 200B300 GPU 시간이 소요되었으며, 이미지는 약 100만 장의 danbooru 이미지에서 가져왔습니다. 캡션은 태그, 자연어 및 GBC 그래프 구조 등 다양한 형식을 포함합니다. diffusers 가중치와 ComfyUI용 bf16 / fp16 / int8 단일 파일을 제공합니다.
왜 중요한가 반정밀도 또는 8비 양자화 추론을 사용하는 사용자에게 수치적 여유 공간을 제공하며, 출력은 기본 모델과 유사한 수준을 유지합니다
상승 점수 65 · 좋아요 67 · 다운로드 수 0
이유
- 저자는 fp16에서 기본 모델의 잔차 스트림이 오버플로까지 약 6%만 남았다고 주장하며, heal 버전은 약 20배의 여유 공간을 확보하여 저정밀도 및 양자화 추론이 더 안정적입니다
- 모든 수치와 차트는 reports/ 디렉터리에 첨부되어 있으며, 방법은 공개 문서로 작성되었습니다
- ComfyUI 단일 파일은 공식 MOSS-Image 워크플로우의 모델을 직접 교체하는 데 사용할 수 있습니다
사용법
- ComfyUI: comfyui/ 폴더 내의 파일을 models/diffusion_models/에 배치하고, 텍스트 인코더와 VAE는 공식 MOSS-Image의 것을 사용하세요. fp16 파일은 --fp16-unet 옵션과 함께 사용하세요
- diffusers: 공식 MOSS-Image-Base 파이프라인을 로드한 후, 트랜스포머를 이 저장소의 것으로 교체하세요
리스크
- 학습 이미지는 모두 danbooru에서 가져온 것으로, 사실적 스타일(realistic)의 성능에 대해서는 저자가 별도로 언급하지 않았습니다
- 비교 샘플은 두 쌍뿐입니다
- 이 항목은 실행되지 않았으므로, 성능은 모델 카드를 기준으로 하세요