원제: thejagstudio/tessera-small
개인 개발자 Jagrat Patel(TheJagStudio)이 11월 9일에 업로드했습니다. Tessera는 16×16 스프라이트 이미지의 각 픽셀을 하나의 토큰으로 취급합니다(학습된 512색 팔레트에서 선택하며, 0번은 투명도를 나타냅니다). 양방향 Transformer는 완전히 마스킹된 캔버스에서 시작하여 동결된 CLIP 텍스트 인코더를 조건으로 약 16단계 동안 전체 256개의 픽셀을 병렬로 복원합니다. VAE도, 잠재 공간(latent space)도 없으며, 자기회귀 방식도 아닙니다. Tessera-small은 47.6M 파라미터를 가지고 있으며, Pixel Art Atlas 1.4M 데이터셋에서 학습되었고 CC BY-NC 4.0 라이선스를 따릅니다.
왜 중요한가 5천만 개 미만의 파라미터로 단일 GPU에서 몇 시간 만에 학습할 수 있어 게임 아이콘 및 픽셀 자산 제작에 적합하며, 구조 또한 학습용으로 좋습니다. 비영리 사용만 허용됩니다.
상승 점수 46 · 좋아요 51 · 다운로드 수 0
이유
- 저자는 RTX PRO 6000 Blackwell GPU 한 장에서 약 5.5시간 동안 학습했다고 밝혔습니다(82,342 스텝, 30 에폭)
- 검증 집합에서 마스킹된 픽셀의 예측 정확도는 78.8%이며, CLIP 점수는 25.24이고 실제 스프라이트 이미지는 25.28입니다
- 부분 리페인팅을 지원하며, 온라인 데모 Space 'Tessera Pixel Studio'가 있습니다
사용법
- hf_hub_download를 사용하여 tessera-small-fp16.pt 파일을 다운로드하고 TesseraPipeline.from_checkpoint로 로드합니다(코드는 데모 Space의 파일에 있음). 예시 설정: steps=16, cfg_scale=3.0, num_per_prompt=8
- openai/clip-vit-base-patch32의 텍스트 인코더가 추가로 필요하며(포함되지 않음, MIT 라이선스), 텍스트는 최대 24개의 토큰까지 허용됩니다
리스크
- CC BY-NC 4.0: 모델과 생성된 이미지 모두 상업적으로 사용할 수 없습니다(판매 불가, 유료 게임이나 앱에 포함 불가). 상업적 사용을 원할 경우 저자와 별도 계약을 체결해야 합니다
- 16×16 크기의 소형 이미지만 생성됩니다. 추론 코드는 모델 저장소에 없으므로 데모 Space에서 가져와야 합니다. 본 항목은 실행되지 않았습니다