MOSS-SFT-Distill-4step-LoRA

이것은 커뮤니티 작성자 lvladikov가 OpenMOSS의 MOSS-Image SFT를 위해 훈련한 rank 64 증류 LoRA로, eDMD 분포 매칭과 LADD 적대적 판별자를 사용하여 훈련되었습니다(판별자는 50 단계 원본 이미지와 약 8000장의 실제 사진을 동시에 참조합니다). 4 단계, CFG 1로 이미지를 생성하며, 훈련은 768×512부터 1824×1024까지 총 12가지 해상도를 포함합니다. 작성자는 Comfy Cloud에서 동일한 22장의 1024×1024 이미지 생성 시 GPU 시간이 387.3초에서 26.6초로 단축되었다고 밝혔으며, 텍스트 작성을 요구하는 프롬프트 15개 중 14개에서 모든 글자가 올바르게 작성되었습니다(원본은 15개). 저장소에는 diffusers 코드, ComfyUI 로딩 방식에 맞게 보정된 LoRA 파일, 그리고 텍스트-이미지 생성, 레이아웃 박스, 이미지 편집, PiD 4배 확대의 네 가지 워크플로(로컬 및 Comfy Cloud용 각 1부)가 포함되어 있습니다.

이것은 커뮤니티 작성자 lvladikov가 OpenMOSS의 MOSS-Image SFT를 위해 훈련한 rank 64 증류 LoRA로, eDMD 분포 매칭과 LADD 적대적 판별자를 사용하여 훈련되었습니다(판별자는 50 단계 원본 이미지와 약 8000장의 실제 사진을 동시에 참조합니다). 4 단계, CFG 1로 이미지를 생성하며, 훈련은 768×512부터 1824×1024까지 총 12가지 해상도를 포함합니다. 작성자는 Comfy Cloud에서 동일한 22장의 1024×1024 이미지 생성 시 GPU 시간이 387.3초에서 26.6초로 단축되었다고 밝혔으며, 텍스트 작성을 요구하는 프롬프트 15개 중 14개에서 모든 글자가 올바르게 작성되었습니다(원본은 15개). 저장소에는 diffusers 코드, ComfyUI 로딩 방식에 맞게 보정된 LoRA 파일, 그리고 텍스트-이미지 생성, 레이아웃 박스, 이미지 편집, PiD 4배 확대의 네 가지 워크플로(로컬 및 Comfy Cloud용 각 1부)가 포함되어 있습니다.

왜 중요한가 각 단계마다 모델을 한 번만 호출하고 부정적 프롬프트를 실행하지 않으며, 작성자는 동일한 배치 이미지의 GPU 시간이 약 1/14 수준으로 절약된다고 밝혔습니다. ComfyUI 전용 파일과 8개 핵심 노드 워크플로가 제공됩니다.

Hugging Face 좋아요 13 · Hugging Face 상승 점수 13 · Hugging Face 다운로드 4

라이선스: 상업적 사용 가능 · ComfyUI: 모델 카드에 언급됨 · VRAM: 196 GB

이유

  • 모델 카드에는 원본 50 단계, akhaliq의 4 단계 LoRA 및 본 LoRA를 동일한 시드로 나란히 비교한 결과와 12가지 해상도에서의 모든 생성 이미지가 포함되어 있습니다.
  • Apache-2.0로, 기본 모델과 동일합니다. Hugging Face 온라인 데모가 있습니다.

사용법

  • ComfyUI: moss_sft_4step_rank_64_lora_comfyui.safetensors 파일을 models/loras 폴더에 넣고, 기본 모델로는 Comfy-Org/MOSS-Image의 moss_image_sft_bf16를 사용하며, moss_sft_4step_lora_t2i_local.json 파일을 드래그하여 불러옵니다. euler 샘플러에 Manual Sigmas "1.0, 0.91, 0.717, 0.024, 0.0", CFG 1, LoRA 강도 1.0을 설정하고 부정적 프롬프트는 사용하지 않습니다.
  • diffusers: 모델 카드의 apply_4step_lora 함수를 사용하여 일반 버전 LoRA를 transformer에 적용하며, num_inference_steps=4, guidance_scale=1.0로 설정합니다.

리스크

  • MOSS-Image SFT에만 적용 가능합니다. ComfyUI 파일의 보정 계수는 bf16 기본 모델에서 측정되었으며, 공식 템플릿의 int8 파일은 테스트되지 않았습니다.
  • 작성자가 나열한 문제점: 텍스트 작성을 요구하지 않은 간판에 엉뚱한 글자가 나타날 수 있으며, 가끔 물체나 사람이 추가되거나 어두운 장면이 원본보다 밝게 표현됩니다. 강도를 1.0 이상으로 올리면 세부 사항이 증가하기보다는 이중 윤곽선이 발생합니다.
  • 모든 수치는 작성자의 자체 테스트 결과입니다. 카드에 명시된 196 GB는 훈련 시의 피크 VRAM이며, 추론 시 VRAM은 MOSS-Image 기본 모델에 따라 달라집니다.

열기

抱脸 text-to-image 上升榜

최신 AI 소식 보기