Jeveration: 단일 순방향으로 전체 이미지를 생성하는 통합 모델

저자는 '빠른 사고' 방식의 병렬 의사결정 모델을 이미지 생성에 적용했습니다. 동결된 비전 언어 모델(README에 따르면 백본은 Qwen3.5-4B)에서 모든 위치가 이산 이미지 코드를 동시에 예측하여, 한 번의 순방향으로 전체 512×512 이미지를 생성합니다. 병렬 예측을 조화로운 하나의 이미지로 조합하는 것이难点인데, 논문에서는 모든 위치가 동일한 랜덤 상태를 공유하여 매번 샘플링할 때마다 서로 다르지만 완전한 이미지를 생성하도록 했습니다. 이미지로 직접 지도 학습을 하면 모델이 이 상태를 무시하는 경향이 있어, 먼저 이산 이미지 코드의 분포를 학습하여 단일 단계 생성을 유도합니다. 동일한 아키텍처는 이미지-투-이미지 변환과 밀집 예측도 통합하여, 하나의 체크포인트로 세 가지 작업을 수행합니다. 논문은 H200 한 장에서 78 밀리초 만에 512×512 이미지를 생성하며, 기존 통합 모델보다 최대 122배 빠르고 화질과 밀집 예측 성능이 '경쟁력 있다'고 주장합니다.

원제: Jeveration: System One Models Now Generate

저자는 '빠른 사고' 방식의 병렬 의사결정 모델을 이미지 생성에 적용했습니다. 동결된 비전 언어 모델(README에 따르면 백본은 Qwen3.5-4B)에서 모든 위치가 이산 이미지 코드를 동시에 예측하여, 한 번의 순방향으로 전체 512×512 이미지를 생성합니다. 병렬 예측을 조화로운 하나의 이미지로 조합하는 것이难点인데, 논문에서는 모든 위치가 동일한 랜덤 상태를 공유하여 매번 샘플링할 때마다 서로 다르지만 완전한 이미지를 생성하도록 했습니다. 이미지로 직접 지도 학습을 하면 모델이 이 상태를 무시하는 경향이 있어, 먼저 이산 이미지 코드의 분포를 학습하여 단일 단계 생성을 유도합니다. 동일한 아키텍처는 이미지-투-이미지 변환과 밀집 예측도 통합하여, 하나의 체크포인트로 세 가지 작업을 수행합니다. 논문은 H200 한 장에서 78 밀리초 만에 512×512 이미지를 생성하며, 기존 통합 모델보다 최대 122배 빠르고 화질과 밀집 예측 성능이 '경쟁력 있다'고 주장합니다.

왜 중요한가 대부분의 생성 모델은 수십 단계를 반복해야 하지만, 이 모델은 한 번의 순방향으로 이미지를 생성하며 동일한 가중치로 이미지-투-이미지 변환 및 깊이, 분할, 법선 벡터 예측까지 수행합니다

좋아요 112 · 코드 스타 수 41

이유

  • 코드와 가중치 모두 Apache-2.0 라이선스이며, 가중치 크기는 약 6.5 GB이고 Hugging Face에 온라인 데모 Space도 있습니다
  • 이미지-투-이미지 변환은 엣지 맵이나 깊이 맵을 이미지로 변환하거나 흑백 사진에 색을 입히는 기능, 그리고 애니메이션, 지브리, 수채화 세 가지 스타일 변환을 지원합니다. 밀집 예측은 각 픽셀의 카테고리, 깊이(미터), 표면 법선 벡터를 한 번에 출력합니다
  • README에 따르면 동일한 하드웨어와 소프트웨어 환경에서 고정된 시드를 사용하면 동일한 이미지를 재현할 수 있다고 합니다

사용법

  • 코드: https://github.com/Carol-lyh/Jeveration;权重:https://huggingface.co/linlinlinlinsdada/Jeveration,演示:https://huggingface.co/spaces/linlinlinlinsdada/Jeveration
  • 환경은 Python 3.12 및 CUDA GPU가 필요합니다. pip install -r requirements.txt 실행 후 hf download로 가중치를 weights/ 폴더에 다운로드하세요. 백본인 Qwen3.5-4B, TA-TiTok 토크나이저, CLIP 텍스트 타워는 첫 실행 시 자동으로 다운로드됩니다
  • 텍스트-투-이미지 생성: python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt --prompt "…" --seed 0 --out samples/ 명령어를 사용합니다. 이미지-투-이미지 변환은 image_to_image.py에 --task 옵션(hed, depth, colorize, anime, ghibli, watercolor)을 추가하여 실행하고, 밀집 예측은 dense_predict.py를 사용합니다. app.py를 실행하면 Gradio 웹 인터페이스를 띄울 수 있습니다

리스크

  • 초록에서는 화질이 '경쟁력 있다'고만 언급했을 뿐 구체적인 화질 점수를 제시하지 않았습니다. 78 밀리초는 저자가 H200에서 측정한 속도이며, 본 항목에서는 이를 실행해 보지 않았습니다
  • 해상도는 512×512 한 종류만 지원되며, 밀집 예측은 NYUv2 실내 장면 데이터셋에서만 학습되었습니다

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기