DNeo: 병렬 초안 모델의 거절된 초안 재사용

추론적 확산 디코딩은 작은 병렬 초안 모델을 사용하여 한 번의 순방향 패스로 후보 토큰 블록을 생성한 후, 대형 모델이 이를 병렬로 검증합니다. 저자들은 DFlash, DSpark와 같은 병렬 초안 모델이 대상 모델의 특성을 읽는 방식에 세 가지 결함이 있다고 지적합니다: 인코딩 투사가 대상 특성 공간을 파괴하는 것(저자들은 이를 잔차 혼합이라고 부름), 이전에 거절된 제안을 기억하지 못하는 것, 그리고 모든 레이어에서 균일하게 특성을 추출하여 중요한 숨겨진 상태를 놓치는 것입니다. DNeo는 작업 기억이 포함된 혼합 특성 어텐션 MoFA를 사용하여 거절된 제안을 기억으로 인코딩하고, 여기에 2-탭 인과적 컨볼루션, 접두사에만 적용되는 교차 어텐션, 비균일 대상 레이어 선택을 추가합니다. 저자들은 생성 속도가 현재 최고의 DFlash-2의 1.3배이며, 초안 모델의 크기와 생성 품질은 동일하다고 주장합니다.

원제: DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding

추론적 확산 디코딩은 작은 병렬 초안 모델을 사용하여 한 번의 순방향 패스로 후보 토큰 블록을 생성한 후, 대형 모델이 이를 병렬로 검증합니다. 저자들은 DFlash, DSpark와 같은 병렬 초안 모델이 대상 모델의 특성을 읽는 방식에 세 가지 결함이 있다고 지적합니다: 인코딩 투사가 대상 특성 공간을 파괴하는 것(저자들은 이를 잔차 혼합이라고 부름), 이전에 거절된 제안을 기억하지 못하는 것, 그리고 모든 레이어에서 균일하게 특성을 추출하여 중요한 숨겨진 상태를 놓치는 것입니다. DNeo는 작업 기억이 포함된 혼합 특성 어텐션 MoFA를 사용하여 거절된 제안을 기억으로 인코딩하고, 여기에 2-탭 인과적 컨볼루션, 접두사에만 적용되는 교차 어텐션, 비균일 대상 레이어 선택을 추가합니다. 저자들은 생성 속도가 현재 최고의 DFlash-2의 1.3배이며, 초안 모델의 크기와 생성 품질은 동일하다고 주장합니다.

왜 중요한가 추론적 디코딩의 속도 향상은 초안이 얼마나 많이 수용되느냐에 달려 있습니다. 저자들은 생성 속도가 이전까지 최고의 DFlash-2을 초과했으며, 초안 크기 및 출력 품질은 변하지 않았다고 주장합니다

좋아요 3 · 코드 스타 수 4

이유

  • Qwen3-4B(사고 모드)용 초안 가중치 J-sandler/Qwen3-4B-DNeo 공개: 5 레이어 병렬 백본, 한 번의 순방향 패스로 15개 토큰 작성, 대상 모델의 선택된 7개 레이어에서 특성 추출
  • 저자들은 H100 80GB GPU, 배치 크기 1 환경에서 측정: SGLang은 순방향 패스당 평균 4.51개 토큰을 수용하고 초당 701토큰을 디코딩하며, 이는 단어별 자기 회귀 방식의 2.96배입니다. Transformers 환경에서는 3.37배입니다
  • 초안 가중치는 Apache-2.0, 추론 코드는 MIT 라이선스

사용법

  • 코드: https://github.com/J-sandler/DNeo;权重:https://huggingface.co/J-sandler/Qwen3-4B-DNeo,必须和 Qwen/Qwen3-4B와 함께 사용해야 하며, 초안 모델 자체는 단독으로 생성할 수 없습니다
  • 이 버전은 0.1.0rc6 이상의 shared-router 런타임이 필수입니다: 가중치 저장소에서 dneo-inference-source.tar.gz를 다운로드하고, 내부의 INSTALL.md에 따라 Transformers 또는 네이티브 SGLang 버전을 설치하십시오. 이전의 five-router 로더는 이를 읽을 수 없습니다

리스크

  • 현재 Qwen3-4B라는 하나의 대상 모델에 대한 초안 가중치만 존재합니다
  • 속도 테스트 조건은 프롬프트 최대 256개 토큰, 출력 고정 512개 토큰, 컨텍스트 상한 1024이며, 저자들은 결과가 부하에 따라 달라진다고 말합니다. 긴 컨텍스트와 대용량 배치에 대한 데이터는 없습니다. 본 항목은 실행되지 않았습니다

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기