G-STAR: 이미지 토큰을 더 짧게 압축하는 자기회귀 이미지 생성

이산 자기회귀 이미지 생성의 딜레마: 토큰 시퀀스가 길면 화질은 좋지만 느리고, 공간 압축을 강하게 하면 각 토큰에 정보를 담을 수 없습니다. 저자들은 곱 양자화(Product Quantization)를 기반으로, 명목상 정보량이 일정할 때 각 축의 공간 압축 배수를 α배로 늘리면 그룹 크기는 α²배로 늘려야 한다고 지적했습니다. G-STAR는 이 규칙에 따라 32배, 동등한 64배 압축을 달성했으며(2×2개의 32배 토큰을 한 단계로 무손실 패킹), '반자기회귀(semi-autoregressive)' 헤드를 사용합니다: 그룹 내 각 위치의 특성을 한 번에 병렬로 계산한 후, 단일 레이어의 인과적(causal) 트랜스포머를 사용하여 순차적으로 샘플링합니다. 백본은 Qwen3이며, 동일한 모델이 텍스트-이미지 생성, 지시 기반 이미지 편집 및 이미지 이해를 지원합니다. 저자들은 1024×1024 해상도에서 기존 이산 자기회귀 모델보다 20배 빠르며, 단일 H200에서 이미지당 약 2.5초가 소요된다고 보고했습니다.

원제: G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation

이산 자기회귀 이미지 생성의 딜레마: 토큰 시퀀스가 길면 화질은 좋지만 느리고, 공간 압축을 강하게 하면 각 토큰에 정보를 담을 수 없습니다. 저자들은 곱 양자화(Product Quantization)를 기반으로, 명목상 정보량이 일정할 때 각 축의 공간 압축 배수를 α배로 늘리면 그룹 크기는 α²배로 늘려야 한다고 지적했습니다. G-STAR는 이 규칙에 따라 32배, 동등한 64배 압축을 달성했으며(2×2개의 32배 토큰을 한 단계로 무손실 패킹), '반자기회귀(semi-autoregressive)' 헤드를 사용합니다: 그룹 내 각 위치의 특성을 한 번에 병렬로 계산한 후, 단일 레이어의 인과적(causal) 트랜스포머를 사용하여 순차적으로 샘플링합니다. 백본은 Qwen3이며, 동일한 모델이 텍스트-이미지 생성, 지시 기반 이미지 편집 및 이미지 이해를 지원합니다. 저자들은 1024×1024 해상도에서 기존 이산 자기회귀 모델보다 20배 빠르며, 단일 H200에서 이미지당 약 2.5초가 소요된다고 보고했습니다.

왜 중요한가 자기회귀 이미지 생성은 일반적으로 시퀀스가 너무 길어 느립니다. 여기서 압축 배수와 그룹 크기를 함께 늘리는 규칙을 제시하여 속도와 화질을 모두 확보할 수 있습니다

좋아요 40 · 코드 스타 수 24

이유

  • 두 가지 버전: G-STAR-Pro-8B(32배 압축, 화질 중시) GenEval 0.84, GEdit-Bench 7.45; G-STAR-Flash-1.7B(동등한 64배, 속도 중시) 지연 시간을 인과적 헤드 기반의 22.23초에서 SGLang 서비스 적용 후 2.50초로 점진적으로 최적화
  • 추론 코드(텍스트-이미지 생성, 이미지 편집)와 학습 코드(사전 학습, SFT)가 모두 공개되었으며, MIT 라이선스입니다. Hugging Face에는 텍스트-이미지 생성 체크포인트와 해당 토크나이저 및 2배 초해상도 리파이너(refiner)가 이미 있습니다
  • 저자들은 단점도 명시했습니다: Pro-8B의 DPG-Bench 점수는 83.38으로, Qwen-Image, Z-Image 등 확산 모델보다 낮습니다

사용법

  • 코드: https://github.com/DAGroup-PKU/G-STAR;权重:抱脸 DAGroup-PKU/G-star
  • docs/installation-and-usage.md를 따라 환경을 설치하고 체크포인트 및 해당 리파이너를 다운로드한 후 gstar.infer를 실행하세요. 저자들은 --prompt-enhance 옵션을 추가하여 먼저 Qwen-Image-2.1-PE로 프롬프트를 확장하는 것을 권장합니다

리스크

  • 나머지 체크포인트와 리파이너는 아직 공개되지 않았습니다. 각 체크포인트는 동시에 발표된 리파이너와 함께 사용해야 하며, g8과 g16의 내보내기 형식은 호환되지 않습니다
  • 추론은 80GB H100에서 검증되었습니다. 2.5초는 H200에 CUDA Graph, 연산자 융합 및 SGLang 서비스를 적용한 후의 수치이며, 결과는 저자들이 보고한 것으로 본 항목에서는 실행하지 않았습니다

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기