원제: OpenMOSS-Team/MOSS-Image-SFT
OpenMOSS(MOSI.AI)의 MOSS-Image 시리즈 중 지도 미세 조정(SFT) 버전으로, MOSS-Image-Base에서 미세 조정되었으며 아키텍처와 추론 파이프라인은 동일합니다. 프롬프트는 자연어, 태그 시퀀스 또는 JSON 레이아웃 형식을 사용할 수 있습니다. summary.caption과 items를 사용하여 장면, 렌더링할 텍스트, 객체 및 해당 위치 상자(yxyx 형식, 중심 기준 절대 좌표)를 설명하여 텍스트 배치와 객체 정렬을 제어할 수 있으며, 레이아웃 내의 텍스트, 설명 및 상자를 수정하면 구조화된 변경이 가능합니다. 저자의 비교 이미지에 따르면 SFT 버전은 텍스트 그룹화가 더 명확하고 화이트보드 레이아웃이 더 정돈되어 있습니다. 내장된 VAE는 FLUX.2 small 디코더를 사용합니다. 10월 11일에 리포지토리가 생성되었으며, 이전 호에서는 다루지 않았습니다.
상승 점수 74 · 좋아요 917 · 다운로드 수 19515
이유
- '이미지 내에 지정된 중국어 텍스트를 포함하고 레이아웃에 따라 배치해야 하는' 요구 사항을 해결합니다. 카드의 예제에서는 프롬프트에 여러 줄의 중국어 메모 내용을 직접 작성하며, JSON 레이아웃을 통해 텍스트와 객체를 지정된 위치에 배치할 수 있어 포스터, 화이트보드, 인포그래픽 등 레이아웃이 중요한 이미지 생성에 적합합니다.
- 관련 도구가 잘 갖춰져 있습니다: 프롬프트 확장 스킬 moss-image-prompt-enhancer(아이디어를 상세한 설명이나 레이아웃 JSON으로 변환하며, 좌표 변환만 수행하고 이미지 생성 서비스는 호출하지 않는 스크립트 포함), Gradio 인터페이스, ComfyUI 플러그인, 기술 보고서(arXiv 2610.23374) 및 온라인 데모가 제공됩니다.
- 가중치와 추론 코드는 모두 Apache-2.0 라이선스를 따릅니다. Hugging Face 좋아요 수 917(관심도만 반영).
사용법
- diffusers: pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" safetensors Pillow(Python 3.10 이상, PyTorch 2.9 이상, NVIDIA GPU 필요), DiffusionPipeline.from_pretrained('OpenMOSS-Team/MOSS-Image-SFT', custom_pipeline='pipeline_moss_image', trust_remote_code=True, torch_dtype={'default': torch.bfloat16, 'vae': torch.float32}), pipe(prompt, height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=22).
- 기본 매개변수: Flow-matching Euler 50 단계, CFG 3, shift 5, 부정적 분기에서 22번째 레이어 건너뛰기, 부정적 프롬프트는 비워둠; 너비와 높이는 16의 배수여야 합니다. 레이아웃 프롬프트는 json.dumps(layout, ensure_ascii=False)를 통해 전달하며, 생성된 이미지의 크기는 레이아웃의 캔버스 크기와 일치합니다.
- ComfyUI: ComfyUI Manager에서 MOSS-Image를 검색하여 플러그인을 설치합니다(공식 리포지토리 통합은 진행 중). 예제 워크플로우는 GitHub의 OpenMOSS/MOSS-Image 리포지토리의 comfyui/ 디렉터리에 있습니다. 레이아웃 작성이 번거로울 경우, 에이전트가 확장 스킬을 사용하여 프롬프트를 생성하도록 할 수 있습니다.
리스크
- 기본 설정인 50 단계, 각 단계당 두 번의 순전파(forward pass)는 현재 유행하는 저단계(low-step) 모델보다 느립니다. 카드에는 VRAM 요구 사항이나 속도 데이터가 제공되지 않았습니다.
- 레이아웃 생성은 실험적 기능으로 분류됩니다. 확장 스킬은 GPT-6 시리즈 에이전트를 위해 설계된 것으로 명시되어 있어, 다른 에이전트에서의 성능은 불확실합니다.
- 사용자 정의 파이프라인 코드가 포함되어 있어 trust_remote_code가 필요합니다. 카드에는 Base와 SFT의 비교 이미지 한 쌍만 있으며, 정량적 평가 표는 없습니다.