P-JiT 21K: 화 21K 달러로 처음부터 학습한 텍스트-이미지 생성 연구 모델

Linum이 공개한 연구용 체크포인트: P-JiT(Pyramid-JiT)는 픽셀 공간 확산 아키텍처로, 2B 파라미터의 DiT를 사용하며 512px 해상도에서 6.1억 개의 샘플로 학습하고, 1024px 해상도에서 5000만 개의 샘플로 추가 학습 후 FDFO 변형을 통해 후속 학습(post-training)을 수행했습니다. 저자는 컴퓨팅 비용이 약 2.1만 달러라고 밝혔습니다. 텍스트 인코더로는 동결된 Qwen3.5-4B를 사용했습니다. 학습 데이터의 설명은 50~80 단어의 밀도 높은 캡션 형식이며, 코드 저장소에는 짧은 프롬프트를 이 형식으로 확장하는 스크립트가 포함되어 있습니다(OpenRouter API 키가 필요하며, 비활성화 가능). 저자는 이것이 차세대 비디오 모델을 위한 단계적 성과라고 설명했습니다.

원제: Linum-AI/pjit-21k

Linum이 공개한 연구용 체크포인트: P-JiT(Pyramid-JiT)는 픽셀 공간 확산 아키텍처로, 2B 파라미터의 DiT를 사용하며 512px 해상도에서 6.1억 개의 샘플로 학습하고, 1024px 해상도에서 5000만 개의 샘플로 추가 학습 후 FDFO 변형을 통해 후속 학습(post-training)을 수행했습니다. 저자는 컴퓨팅 비용이 약 2.1만 달러라고 밝혔습니다. 텍스트 인코더로는 동결된 Qwen3.5-4B를 사용했습니다. 학습 데이터의 설명은 50~80 단어의 밀도 높은 캡션 형식이며, 코드 저장소에는 짧은 프롬프트를 이 형식으로 확장하는 스크립트가 포함되어 있습니다(OpenRouter API 키가 필요하며, 비활성화 가능). 저자는 이것이 차세대 비디오 모델을 위한 단계적 성과라고 설명했습니다.

왜 중요한가 저비용으로 텍스트-이미지 생성 모델을 처음부터 학습한 전체 사례를 공개하여, 효율적인 학습 방법을 연구하는 사람들이 참고할 수 있습니다.

상승 점수 66 · 좋아요 66 · 다운로드 수 382

이유

  • 가중치, 추론 코드, 학습 접근 방식에 대한 블로그가 모두 공개되어 있으며, 라이선스는 Apache-2.0입니다.
  • 저자가 학습 비용과 데이터 규모를 명시하여 다른 모델들과의 학습 효율 비교가 용이합니다.
  • 5개의 샘플에 대한 프롬프트와 시드(seed)가 모두 제공되어 재현이 가능합니다.

사용법

  • git clone Linum-AI/pjit-21k 실행 후 pip install -e .을 통해 설치하고, generate.py를 사용하여 이미지를 생성합니다. 기본 설정은 50단계의 Euler 샘플러와 가이던스 스케일 15입니다.
  • 짧은 프롬프트의 경우 확장 기능을 활성화하거나, 직접 50~80 단어의 상세한 설명을 작성하는 것을 권장합니다.

리스크

  • 저자는 텍스트 생성이나 포스터 제작이 불가능하며, 학습 과정에서 텍스트가 포함된 이미지를 의도적으로 제외했다고 명시했습니다.
  • 모델 크기가 작아 전신 이미지, 다중 인물 상호작용, 다중 객체 및 상식적 세부 사항에서 오류가 발생하기 쉽습니다.
  • 실험적인 연구용 체크포인트로, 프로덕션용 모델이 아닙니다. 가중치는 fp32 형식이며 크기는 약 8.7 GB입니다.
  • 이 항목은 직접 실행되지 않았으므로, 성능은 모델 카드를 기준으로 확인해야 합니다.

열기

Hugging Face Trending

최신 AI 소식 보기