MOSS-Image 2 스텝 이미지 생성 LoRA, 텍스트 렌더링 특화

MOSS-Image-SFT를 기반으로, lodestones 8 스텝, darask0 4 스텝으로 단계별 증류(distillation)를 거친 후, IDM(내부 분포 매칭) 손실 함수를 사용하여 2 스텝, CFG 불필요 LoRA로 학습되었습니다. 저자는 유지된(held-out) 고밀도 텍스트 프롬프트에서 일부 프롬프트의 경우 2 스텝 결과가 50 스텝 교사 모델보다 우수하다고 주장합니다. 또한 실험적인 편집 버전 v2도 있습니다.

원제: MOSS-Image-IDM-2-Steps

MOSS-Image-SFT를 기반으로, lodestones 8 스텝, darask0 4 스텝으로 단계별 증류(distillation)를 거친 후, IDM(내부 분포 매칭) 손실 함수를 사용하여 2 스텝, CFG 불필요 LoRA로 학습되었습니다. 저자는 유지된(held-out) 고밀도 텍스트 프롬프트에서 일부 프롬프트의 경우 2 스텝 결과가 50 스텝 교사 모델보다 우수하다고 주장합니다. 또한 실험적인 편집 버전 v2도 있습니다.

중요성 MOSS는 텍스트가 포함된 포스터나 메뉴판 이미지 생성 시 2 스텝만 실행하면 되며, IDM으로 학습된 최초의 오픈 소스 커뮤니티 구현체입니다.

하트 수 42 · 하트 상승 점수 42 · 하트 다운로드 수 0

라이선스: 상업적 사용 가능 · ComfyUI: 모델 카드에 언급됨 · VRAM: VRAM 요구 사항 미표기

이유

  • 저자는 v2 편집 버전이 일반적인 텍스트-이미지 생성 성능을 저하시킬 수 있으므로, 텍스트-이미지 생성에는 v1을 사용할 것을 명시적으로 권장합니다
  • 온라인 데모 Space와 샘플 이미지 세트가 포함되어 있습니다

사용법

  • 텍스트-이미지 생성에는 runs/idm/export/000750/ 경로 하위의 v1을 사용하세요. 부분 속성 편집에는 저장소 루트 디렉터리 또는 adapter_v2/ 경로의 v2을 사용하며, 2 스텝으로 실행하고 CFG는 비활성화합니다

위험 요소

  • 커뮤니티 구현체이며, 평가는 저자의 소규모 자체 비교에 기반합니다. 두 체크포인트의 용도가 다르므로 잘못 선택하면 성능이 저하될 수 있습니다

열기

抱脸 text-to-image 上升榜第 10

최신 AI 소식 보기