LiliPixel: 처음부터 학습된 소형 픽셀 아트 모델

Pinkstack이 11월 19일에 업로드한, 처음부터 학습된 단일 스트림 DiT(학습 가능한 파라미터 수 1.91억, 레이어 수 24, 너비 768)로, 픽셀 아트를 네이티브로 출력합니다. 세 가지 해상도(16×16, 32×32, 64×64)를 지원하며, 16 및 32 픽셀에서는 RGBA 투명 배경 스프라이트를, 64 픽셀에서는 불투명한 장면을 생성합니다. 프롬프트 앞에 “realistic photo,”를 추가하면 사실적 모드를 활성화할 수 있습니다. 텍스트 인코딩에는 동결된 MongoDB/voyage-4-nano(약 3.46억 파라미터, 최초 사용 시 자동 다운로드)를 사용하며, 프롬프트 길이는 최대 96 토큰입니다. 학습은 13.2만 스텝으로 진행되었으며, 데이터는 네 개의 공개 픽셀 아트 데이터셋에서 가져왔습니다.

원제: Pinkstack/LiliPixel-V1-190M

Pinkstack이 11월 19일에 업로드한, 처음부터 학습된 단일 스트림 DiT(학습 가능한 파라미터 수 1.91억, 레이어 수 24, 너비 768)로, 픽셀 아트를 네이티브로 출력합니다. 세 가지 해상도(16×16, 32×32, 64×64)를 지원하며, 16 및 32 픽셀에서는 RGBA 투명 배경 스프라이트를, 64 픽셀에서는 불투명한 장면을 생성합니다. 프롬프트 앞에 “realistic photo,”를 추가하면 사실적 모드를 활성화할 수 있습니다. 텍스트 인코딩에는 동결된 MongoDB/voyage-4-nano(약 3.46억 파라미터, 최초 사용 시 자동 다운로드)를 사용하며, 프롬프트 길이는 최대 96 토큰입니다. 학습은 13.2만 스텝으로 진행되었으며, 데이터는 네 개의 공개 픽셀 아트 데이터셋에서 가져왔습니다.

중요한 이유 게임 자산 제작 시 투명 배경의 픽셀 스프라이트를 바로 생성할 수 있습니다. 저자에 따르면 추론에는 약 1GB의 메모리가 필요하며, CPU에서도 실행 가능하고 ComfyUI 노드가 제공됩니다.

상승 점수 30 · 좋아요 31 · 다운로드 수 141

이유

  • 저자에 따르면 BF16 추론에는 약 1GB의 메모리가 필요하며, GPU는 물론 CPU에서도 거의 즉각적으로 이미지를 생성합니다. 동일한 프롬프트로 한 번에 4장 이상을 생성한 후 선택하는 것을 권장합니다.
  • 프롬프트 작성법이 명확합니다: 16 / 32 픽셀은 “, transparent background”로 끝나도록 하고, 64 픽셀은 “주체, 동작, on <색상> background” 형식으로 작성하며, 프롬프트는 짧을수록 좋습니다.
  • 단일 파일 ComfyUI 커스텀 노드와 예제 워크플로우가 포함되어 있으며, 알파 채널이 포함된 RGBA 이미지 및 마스크를 출력할 수 있습니다.

사용법

  • diffusers: DiffusionPipeline.from_pretrained("Pinkstack/LiliPixel-V1-190M", custom_pipeline="Pinkstack/LiliPixel-V1-190M", trust_remote_code=True)를 사용하고, height / width를 16, 32 또는 64로 설정합니다. 32 픽셀 이하에서는 30 스텝, 64 픽셀에서는 50 스텝을 사용하며 CFG는 3.0입니다.
  • ComfyUI: comfyui-workflow/ComfyUI_LiliPixel.py를 custom_nodes 폴더에 넣고, pip install -U diffusers "transformers>=4.56" accelerate를 실행한 후 LiliPixel_V1.json을 드래그하여 불러옵니다.

리스크

  • 파라미터와 데이터 규모가 작아 복잡한 장면, 희귀한 물체, 텍스트는 잘 그려지지 않습니다. 16 픽셀에는 두 개 이상의 주체를 담기 어렵고, 64 픽셀에서는 주제에서 벗어날 가능성이 높습니다.
  • 64 픽셀 장면 데이터는 FLUX 합성 이미지를 축소하여 생성한 것입니다. 라이선스는 OpenMDW-1.1이며, trust_remote_code를 활성화하고 텍스트 인코더를 온라인으로 다운로드해야 합니다. 이 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기