MOSS-Image 4단계 증류 LoRA

커뮤니티 작성자 lvladikov가 OpenMOSS의 MOSS-Image SFT 학습을 위해 만든 4단계 증류 LoRA(rank 64)로, 11월 19일에 업로드되었으며 현재 체크포인트는 11월 20일에 생성되었습니다. 방법은 eDMD 분포 매칭으로, 50단계 및 CFG 3의 교사 모델을 정렬하고 소형 LADD 스타일 적대적 판별기를 추가하여 학생 모델의 이미지와 교사 모델의 이미지, 약 8,000장의 실제 사진 크롭을 비교합니다. 이미지 생성에는 4단계 및 CFG 1만 필요하며 각 단계마다 모델 호출이 한 번씩 이루어집니다(교사 모델은 총 100회 호출). 단일 NVIDIA B300에서 약 57시간 동안 학습했으며, 768×512부터 1824×1024까지의 12가지 해상도를 지원합니다.

원제: lvladikov/MOSS-SFT-Distill-4step-LoRA

커뮤니티 작성자 lvladikov가 OpenMOSS의 MOSS-Image SFT 학습을 위해 만든 4단계 증류 LoRA(rank 64)로, 11월 19일에 업로드되었으며 현재 체크포인트는 11월 20일에 생성되었습니다. 방법은 eDMD 분포 매칭으로, 50단계 및 CFG 3의 교사 모델을 정렬하고 소형 LADD 스타일 적대적 판별기를 추가하여 학생 모델의 이미지와 교사 모델의 이미지, 약 8,000장의 실제 사진 크롭을 비교합니다. 이미지 생성에는 4단계 및 CFG 1만 필요하며 각 단계마다 모델 호출이 한 번씩 이루어집니다(교사 모델은 총 100회 호출). 단일 NVIDIA B300에서 약 57시간 동안 학습했으며, 768×512부터 1824×1024까지의 12가지 해상도를 지원합니다.

왜 중요한가 작성자는 이미지 생성 GPU 시간을 약 14배 단축했다고 주장하며, 색조는 원본 모델과 유사하고 텍스트도 대부분 정확하게 생성됩니다. ComfyUI 핵심 노드만으로도 실행할 수 있습니다.

상승 점수 30 · 좋아요 33 · 다운로드 수 2685

이유

  • 작성자는 Comfy Cloud에서 동일한 22장의 1024×1024 이미지를 생성할 때 과금되는 GPU 시간이 26.6초 대 387.3초로 약 14배 절약된다고 주장합니다. 21개의 테스트 프롬프트에서 평균 밝기는 교사 모델보다 1.0 L* 낮으며, 미세한 질감은 교사 모델의 1.16배입니다.
  • 15개의 텍스트 프롬프트 중 14개에서 요구된 모든 문자를 정확하게 생성했습니다(교사 모델은 15개, akhaliq의 4단계 LoRA는 12개).
  • 10개의 ComfyUI 워크플로(텍스트-이미지 생성, 레이아웃 배치, 이미지 편집, PiD 4배 업스케일링 등, 로컬 및 Comfy Cloud용 각 1개)가 포함되어 있으며 핵심 노드만 사용합니다. 또한 ComfyUI 표준 LoRA 로더용 교정 파일도 제공됩니다.

사용법

  • ComfyUI: moss_sft_4step_rank_64_lora_comfyui.safetensors 파일을 models/loras 폴더에 넣고 강도를 1.0로 설정합니다. 기본 모델은 Comfy-Org/MOSS-Image의 moss_image_sft_bf16를 사용합니다. 샘플러는 euler를 사용하고 Manual Sigmas는 "1.0, 0.91, 0.717, 0.024, 0.0"로 설정하며, CFG는 1(Basic Guider)로 설정합니다.
  • diffusers: 저장소의 apply_4step_lora 함수를 사용하여 moss_sft_4step_rank_64_lora.safetensors 파일을 transformer에 연결하고, num_inference_steps=4, guidance_scale=1.0로 설정합니다.
  • ComfyUI의 simple 스케줄러는 사용하지 마세요. 강도는 1.0로 유지하세요. 작성자는 강도를 높이면 이중 경계선만 생기고 디테일은 증가하지 않는다고 주장합니다.

위험 요소

  • MOSS-Image SFT 및 해당 샘플링 스케줄에만 적합합니다. 공식 템플릿의 기본값인 2848×1600 등 학습 범위를 초과하는 크기는 매우 긴 프롬프트가 필요하며, Mac에서 큰 크기의 VAE 디코딩 시 오류가 발생할 수 있어 분할 디코딩으로 변경해야 합니다.
  • 작성자가 나열한 문제점: 텍스트가 지정되지 않은 영역에서 글자를 임의로 생성함, 세로형 이미지에서 군중이 유사하게 나타남, 다인용 식탁의 인원 수 정확하지 않음, 간혹 오타 발생. 비교 이미지는 모두 작성자가 생성했으며, 기본 모델 라이선스는 별도로 확인해야 합니다. 이 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기