ProprietaryLegal/Volta-Max-uPLIft-FP4-DeepSeek-V4.1-Flash-1017-NVFP4-8xV100-SXM2-PP2xTP4

저자는 모든 라우팅 전문가를 먼저 IQ2 수준 압축 형식으로 GPU에 로드한 후, 메모리가 가득 찰 때까지 사용 빈도에 따라 NVIDIA 공식 NVFP4 패키지의 가중치로 하나씩 교체했습니다. 총 15360개의 라우팅 전문가 중 6087개는 NVFP4 정밀도를 유지하며, 측정된 샘플에서 디코딩 라우팅의 79%~85%를 담당했습니다. 저자는 11월 13일 버전의 경우 단일 요청 생성 속도가 초당 약 117.7개 토큰이며, 코드 유형에서 길이가 1K~256K일 때 초당 143~175개 토큰을 생성하고, 다음 토큰이 NVFP4 참조와 일치하는 비율은 95.1%라고 밝혔습니다. 같은 저자의 더 빠른 Volta sPLIt보다는 느리지만 공식 정밀도에 더 가깝습니다.

저자는 모든 라우팅 전문가를 먼저 IQ2 수준 압축 형식으로 GPU에 로드한 후, 메모리가 가득 찰 때까지 사용 빈도에 따라 NVIDIA 공식 NVFP4 패키지의 가중치로 하나씩 교체했습니다. 총 15360개의 라우팅 전문가 중 6087개는 NVFP4 정밀도를 유지하며, 측정된 샘플에서 디코딩 라우팅의 79%85%를 담당했습니다. 저자는 11월 13일 버전의 경우 단일 요청 생성 속도가 초당 약 117.7개 토큰이며, 코드 유형에서 길이가 1K256K일 때 초당 143~175개 토큰을 생성하고, 다음 토큰이 NVFP4 참조와 일치하는 비율은 95.1%라고 밝혔습니다. 같은 저자의 더 빠른 Volta sPLIt보다는 느리지만 공식 정밀도에 더 가깝습니다.

왜 중요한가 바이트당 사용 빈도에 따라 원본 정밀도를 유지할 전문가를 결정하며, 모든 전문가를 VRAM에 저장하여 PCIe를 거치지 않습니다. 속도, 정밀도 및 실패한 시도까지 모두 날짜별로 공개되어 재현이 용이합니다.

스타 수 18

이유

  • 저장소는 11월 10일에 생성되었으며, 코드와 문서는 Apache-2.0 라이선스를 따릅니다. README를 읽어본 결과, 모든 수치에 측정 날짜, 조건 및 원본 기록이 명시되어 있습니다.
  • README에는 '성공하지 못했거나 아직 충분하지 않은' 부분이 별도로 명시되어 있으며, 예를 들어 빠른 읽기 프롬프트의 품질은 아직 확인되지 않았습니다.

사용법

  • NVLink 보드가 장착된 4 카드 2개와 총 8장의 V100-SXM2-32GB가 필요합니다. README에 따라 엔진을 컴파일하고, 556GB의 Hugging Face 패키지를 다운로드하여 SHA256SUMS로 검증한 후, serve_hot_iq.sh를 사용하여 실행합니다.

리스크

  • 하드웨어 요구 사항이 높아 일반 사용자는 재현할 수 없으며, 속도와 정밀도 수치는 모두 저자 자신의 머신에서 측정된 것입니다.
  • 기본적으로 활성화된 빠른 읽기 프롬프트는 출력을 변경할 수 있으며, 저자는 그 품질이 아직 확인되지 않았다고 명시했습니다.

열기

GitHub

최신 AI 소식 보기