원제: HiUni: Harmonizing Understanding and Generation in Shared Visual Space
ernie-research 팀은 사전 학습된 비전-언어 모델에 생성 능력을 직접 확장했습니다. 이해와 생성은 언어와 정렬된 동일한 ViT 및 밀집 Transformer 백본을 공유하며, 작업의 차이는 출력 단계에서만 발생합니다. 픽셀 공간의 최적화 어려움과 ViT의 공간적 세부 정보 손실 문제를 해결하기 위해 픽셀 공간에서 직접 노이즈를 제거하는 Pixel Diffusion Head와 출력 전 국소 세부 정보를 보완하는 경량 HiGate 경로를 추가했습니다. 논문은 이해 평균 점수가 기존 비전-언어 모델과 유사하며, 이미지 생성 및 편집 성능이 경쟁력 있다고 보고했습니다.
왜 중요한가 대부분의 통합 모델은 이해와 생성을 위해 각각 별도의 비전 표현이나 계산 경로를 사용하지만, 이 모델은 하나의 백본을 공유해도 이해 능력이 거의 저하되지 않음을 증명했습니다. 4B 백본으로 단일 GPU에서 고해상도 이미지를 생성할 수 있습니다.
좋아요 23 · 코드 스타 수 12
이유
- README에 따르면 백본은 4B이며, 생성 전용 매개변수는 0.9B에 불과합니다. VAE 없이 직접 픽셀을 출력하며, 최대 해상도는 2048×2048입니다. 텍스트-이미지 생성 시 2048² 해상도에는 약 13 GB의 VRAM이 필요합니다.
- 코드에는 Megatron 훈련(전체 및 LoRA), Megatron 및 transformers 추론, 체크포인트 변환이 포함되어 있으며 훈련 코드도 공개되어 있습니다.
- 가중치는 transformers 형식과 Megatron 형식 두 가지가 제공되며, 합성 데이터로 훈련되지 않은 HiUni Base도 별도로 제공됩니다.
사용법
- 코드: https://github.com/ernie-research/HiUni;权重:https://huggingface.co/ernie-research/HiUni;分词器和处理器用 Qwen/Qwen3-VL-4B-Instruct
- Python 3.10 이상, 모든 CUDA GPU 지원: pip install -r hf_inference/requirements.txt를 실행하고 체크포인트를 checkpoints/pixel_dit_hf에 배치합니다.
- 텍스트-이미지 생성: PROMPT="…" bash hf_inference/scripts/run_hf_t2i.sh (기본값: 2048² 해상도, 25 단계, CFG 4); 편집: IMAGE=input.jpg PROMPT="…" bash hf_inference/scripts/run_hf_edit.sh; 이미지 질문 답변도 가능합니다.
리스크
- README와 Hugging Face 페이지 모두 가중치 라이선스를 명시하지 않았으므로, 상업적 사용 전 저자에게 확인해야 합니다.
- 생성 품질은 '경쟁력 있다'고만 언급되었으며, 본 항목에서는 구체적인 점수를 검증하지 않았습니다. HiUni Base는 1024×1024 해상도 사용을 권장합니다. 본 항목은 실행되지 않았습니다.
열기 · 코드 · Hugging Face 논문 페이지