(저장소 소개) 프론티어 MoE 모델을 위한 계층적 추론 엔진: 핫(hot) 전문가 모델은 GPU(CUDA, Vulkan)에서, 웜(warm) 전문가 모델은 RAM에서, 콜드(cold) 전문가 모델은 NVMe에서 스트리밍합니다. C 언어로 작성되었으며, 이미 보유한 하드웨어에서 실행됩니다.
스타 수 47253 (+802 / 24시간)
이유
- 24시간 동안 스타가 802개 증가했으며, 총 스타 수는 47253입니다(이는 단지 관심도를 나타냅니다).
사용법
- 사용법은 저장소 README를 참조하세요.
리스크
- 자동 생성 초안: 아직 편집자 검토를 거치지 않았습니다.