Edge0는 오픈소스 스트리밍 MoE 추론 프레임워크입니다. 전문가 가중치를 스토리지에 저장하고 필요할 때만 로드하므로, 피크 메모리는 총 매개변수 수가 아닌 현재 활성화된 전문가에 따라 결정됩니다. 학습된 사전 라우팅 헤드는 다음 토큰에 사용할 전문가를 한 단계 미리 예측하며, 저자는 디코딩 처리량이 최대 59%까지 향상된다고 주장합니다. 4비트 기반 모델에 증류된 LoRA를 적용하여 양자화 손실을 보완합니다. 11월 4일에는 GGML 기반의 통합 엔진 edge0-infer가 출시되었습니다. 동일한 C++ 인터페이스로 macOS, iOS, Android 및 Windows에서 실행되며, 명령줄 도구, OpenAI 호환 로컬 서비스 및 채팅 앱 예제를 포함합니다. 함께 제공되는 Edge0-35B-A3B는 Qwen3.6-35B-A3B를 기반으로 하며, 저자의 자체 테스트 결과 OpenCompass 5개 항목 평균 점수가 원본보다 3.9점 낮았습니다.
왜 중요한가 사용할 전문가를 한 단계 미리 예측하여 디스크 읽기와 연산을 겹침(overlap)으로써, 스마트폰과 일반 PC에서도 대형 MoE 모델을 로컬에서 실행할 수 있습니다.
스타 수 9670 (+483 / 24h)
이유
- 24시간 동안 스타 483개 증가 (관심도만 반영)
- README에 저자가 각 플랫폼에서 측정한 속도 표가 제공됨: M5 MacBook에서 Metal을 사용한 디코딩 속도는 약 24.8 tok/s, 피크 메모리는 3.43 GiB이며, iPhone 17 Pro Max에서는 약 13.2 tok/s
사용법
- edge0-infer의 Getting Started 가이드에 따라 컴파일하고, 포함된 리소스 도구를 사용하여 Edge0-35B-A3B-preview를 다운로드 및 변환한 후 명령줄 또는 로컬 서비스를 실행
리스크
- 속도와 점수 모두 저자의 자체 테스트 결과임. 초기 준비에는 약 18 GB의 원본 가중치와 약 20 GB의 변환된 리소스 공간이 필요함
- 통합 엔진은 현재 35B 모델만 지원하며, 8B 모델은 계획 중임. SSD 속도가 생성 속도에 직접적인 영향을 미침