MMFlash: 비전-언어 모델의 추측 디코딩 속도 향상

추측 디코딩은 경량 초안 모델이 먼저 일련의 토큰을 제안하면, 대상 모델이 이를 병렬로 검증하는 방식입니다. DFlash와 같은 확산 초안 모델은 한 번의 순전파(forward pass)로 블록 전체의 토큰을 제안할 수 있지만, 주로 순수 텍스트에 초점을 맞추고 있습니다. 저자들은 '이미지 유무에 따른 다음 토큰 분포의 KL 발산'을 사용하여 각 토큰이 이미지에 의존하는 정도를 측정했으며, 의존도가 가장 낮은 4분의 1 토큰의 수용률은 46%인 반면, 의존도가 가장 높은 4분의 1은 22%에 불과하며 멀티모달 학습 후에도 이 격차는 여전히 존재함을 발견했습니다. MMFlash는 학습 시 이러한 토큰의 가중치를 높이고, 긴 비디오 입력의 경우 희소 어텐션(sparse attention)을 사용하여 중복 계산을 줄입니다. 논문은 여러 멀티모달 벤치마크에서 손실 없는 속도 향상을 최대 3.58배 달성했다고 주장하며, 이는 EAGLE-3 및 DFlash보다 각각 최대 195.4%배와 17.1%배 더 높은 수치입니다.

원제: MMFlash: Faster Speculative Decoding for Vision-Language Models

추측 디코딩은 경량 초안 모델이 먼저 일련의 토큰을 제안하면, 대상 모델이 이를 병렬로 검증하는 방식입니다. DFlash와 같은 확산 초안 모델은 한 번의 순전파(forward pass)로 블록 전체의 토큰을 제안할 수 있지만, 주로 순수 텍스트에 초점을 맞추고 있습니다. 저자들은 '이미지 유무에 따른 다음 토큰 분포의 KL 발산'을 사용하여 각 토큰이 이미지에 의존하는 정도를 측정했으며, 의존도가 가장 낮은 4분의 1 토큰의 수용률은 46%인 반면, 의존도가 가장 높은 4분의 1은 22%에 불과하며 멀티모달 학습 후에도 이 격차는 여전히 존재함을 발견했습니다. MMFlash는 학습 시 이러한 토큰의 가중치를 높이고, 긴 비디오 입력의 경우 희소 어텐션(sparse attention)을 사용하여 중복 계산을 줄입니다. 논문은 여러 멀티모달 벤치마크에서 손실 없는 속도 향상을 최대 3.58배 달성했다고 주장하며, 이는 EAGLE-3 및 DFlash보다 각각 최대 195.4%배와 17.1%배 더 높은 수치입니다.

왜 중요한가 이미지 기반 질문 답변 및 비디오 이해의 디코딩이 더 빨라지고 출력은 동일하게 유지됩니다. 초안 가중치가 공개되어 있어 원본 SGLang 및 vLLM에서 직접 로드할 수 있습니다.

좋아요 35 · 코드 스타 수 22

이유

  • 초안 모델은 이미지나 비디오를 다시 인코딩하지 않고, 대상 모델이 이미 시각 정보를 융합한 숨겨진 상태(hidden state)를 직접 읽으므로, 시각 토큰 수에 따라 오버헤드가 증가하지 않습니다.
  • Qwen3.5-4B, Qwen3.5-9B, Qwen3.8-27B 및 Gemma 4 E4B-it 네 가지 대상 모델의 초안 가중치가 공개되었으며, 각 모델 카드에는 배포 명령어와 벤치마크별 성능 점수가 포함되어 있습니다.
  • 저장소에는 데이터 재생성, 시각 의존성 점수 매기기, 학습, 내보내기 및 평가의 전체 워크플로우가 포함되어 있으며, 동일한 설정으로 DFlash 기준선을 학습하여 비교할 수 있습니다.

사용법

  • 코드: https://github.com/fscdc/MMFlash(MIT);草稿权重在抱脸 FSCCS 계정의 MMFlash 컬렉션
  • 배포에는 이 저장소가 필요하지 않습니다: 원본 SGLang 또는 vLLM을 사용하여 대상 모델(예: Qwen/Qwen3.5-4B)을 실행하고, 추측 알고리즘으로 DFLASH를 선택하며, 초안 모델로 FSCCS/Qwen3.5-4B-MMFlash를 입력한 후, OpenAI 호환 인터페이스를 통해 이미지 요청을 전송합니다.

리스크

  • 초안 모델은 단독으로 사용할 수 없으며, 반드시 해당 대상 모델과 페어링해야 합니다. 현재 네 개의 대상 모델만 지원됩니다.
  • README의 속도 향상 데이터는 단일 H200 GPU, 배치 크기 1, 탐욕 디코딩(greedy decoding) 환경에서 측정된 것으로, 논문 초록의 기준과 완전히 동일하지 않습니다. 학습에는 패치가 적용된 SGLang 및 Mooncake가 필요합니다.
  • 성능 점수는 저자가 보고한 수치이며, 본 항목에서는 실행되지 않았습니다.

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기