확산형 비전 언어 모델(예: LLaDA-V)은 각 디노이징 단계마다 전체 이미지의 비전 토큰을 다시 계산해야 하며, 비전 토큰은 입력의 89–97%를 차지합니다. 저자들은 이미지를 제거하면 평균 22.8% 단계에서만 현재 복원 중인 토큰이 변경된다는 사실을 발견했습니다. LOWN은 각 단계에서 먼저 이미지를 보지 않고 마스킹된 토큰을 예측하며, 이 예측이 이전에 이미지를 보았을 때의 예측과 일치하지 않을 때만 실제로 이미지를 처리합니다. 일치하는 부분은 '인증된' 것으로 간주되어 재사용할 수 있으며, 인증된 개수만큼 토큰을 복원합니다.
좋아요 91 · 코드 스타 수 7
이유
- 학습 불필요 및 임계값 조정 불필요: 저자들은 10개 벤치마크에서 LLaDA-V 점수의 99.6%를 유지하면서 평균적으로 디코딩 FLOPs의 35.3%만 사용한다고 보고했습니다.
- 확장 가능: 저자들은 이 방법이 다른 LLaDA 기반 확산형 비전 언어 모델로 일반화될 수 있으며, 비전 토큰 가지치기와 직교하고, KV 캐시 하에서 추가적인 속도 향상을 제공할 수 있다고 보고했습니다.
- 두 개의 명령어로 비교 실행 가능: README의 COCO 곰 예시에서 동일한 이미지에 대해 LLaDA-V는 약 1930 TFLOPs, LOWN은 약 812 TFLOPs를 사용하며, 이는 상대적으로 0.421입니다(저자들은 디코더와 LM 헤드의 분석적 추정치이며 단일 이미지 예시라고 설명했습니다).
사용법
- 환경: Linux, Python 3.11, VRAM 32 GB 이상의 NVIDIA GPU(PyTorch CUDA 12.6).
- 실행: git clone github.com/hyeon9698/LOWN → bash setup.sh(로컬 .venv 생성, 첫 실행 시 LLaDA-V 및 SigLIP2 가중치 자동 다운로드) → bash evaluate.sh --gpu 0, 결과와 FLOPs는 outputs/result.json에 기록됩니다.
- 자체 이미지 사용: bash evaluate.sh --gpu 0 --method lown --image 이미지_경로 --prompt "Describe this image."
리스크
- LLaDA-V와 같은 확산형 비전 언어 모델에만 적용 가능하며, 일반적인 자기회귀 비전 언어 모델에는 적용되지 않습니다.
- README는 단일 이미지 데모와 FLOPs 추정치만 제공하며, 10개 벤치마크에 대한 재현 스크립트나 월클럭 지연 시간을 제공하지 않습니다. 저장소에는 라이선스가 명시되어 있지 않습니다(내부에는 LLaDA-V 코드가 포함되어 있으며, 해당 라이선스를 따릅니다).
- 점수 보존 및 연산량 절감 수치는 저자들이 보고한 값입니다.