(仓库简介)A hierarchical inference engine for frontier MoE models: hot experts on the GPU (CUDA, Vulkan), warm ones in RAM, cold ones streamed from NVMe. Written in C, runs on the hardware you already own.
星数 47253(+802 / 24h)
理由
- 24 小时新增 802 星,总星 47253(只代表关注度)。
用法
- 用法见仓库 README。
风险
- 自动初稿:尚未经编辑审阅。