원제: Linum-AI/pjit-21k
Linum이 공개한 연구용 체크포인트: P-JiT(Pyramid-JiT)는 픽셀 공간 확산 아키텍처로, 2B 파라미터의 DiT를 사용하며 512px 해상도에서 6.1억 개의 샘플로 학습하고, 1024px 해상도에서 5000만 개의 샘플로 추가 학습 후 FDFO 변형을 통해 후속 학습(post-training)을 수행했습니다. 저자는 컴퓨팅 비용이 약 2.1만 달러라고 밝혔습니다. 텍스트 인코더로는 동결된 Qwen3.5-4B를 사용했습니다. 학습 데이터의 설명은 50~80 단어의 밀도 높은 캡션 형식이며, 코드 저장소에는 짧은 프롬프트를 이 형식으로 확장하는 스크립트가 포함되어 있습니다(OpenRouter API 키가 필요하며, 비활성화 가능). 저자는 이것이 차세대 비디오 모델을 위한 단계적 성과라고 설명했습니다.
왜 중요한가 저비용으로 텍스트-이미지 생성 모델을 처음부터 학습한 전체 사례를 공개하여, 효율적인 학습 방법을 연구하는 사람들이 참고할 수 있습니다.
상승 점수 66 · 좋아요 66 · 다운로드 수 382
이유
- 가중치, 추론 코드, 학습 접근 방식에 대한 블로그가 모두 공개되어 있으며, 라이선스는 Apache-2.0입니다.
- 저자가 학습 비용과 데이터 규모를 명시하여 다른 모델들과의 학습 효율 비교가 용이합니다.
- 5개의 샘플에 대한 프롬프트와 시드(seed)가 모두 제공되어 재현이 가능합니다.
사용법
git clone Linum-AI/pjit-21k실행 후pip install -e .을 통해 설치하고,generate.py를 사용하여 이미지를 생성합니다. 기본 설정은 50단계의 Euler 샘플러와 가이던스 스케일 15입니다.- 짧은 프롬프트의 경우 확장 기능을 활성화하거나, 직접 50~80 단어의 상세한 설명을 작성하는 것을 권장합니다.
리스크
- 저자는 텍스트 생성이나 포스터 제작이 불가능하며, 학습 과정에서 텍스트가 포함된 이미지를 의도적으로 제외했다고 명시했습니다.
- 모델 크기가 작아 전신 이미지, 다중 인물 상호작용, 다중 객체 및 상식적 세부 사항에서 오류가 발생하기 쉽습니다.
- 실험적인 연구용 체크포인트로, 프로덕션용 모델이 아닙니다. 가중치는 fp32 형식이며 크기는 약 8.7 GB입니다.
- 이 항목은 직접 실행되지 않았으므로, 성능은 모델 카드를 기준으로 확인해야 합니다.