Edge0 是开源的流式 MoE 推理框架:专家权重放在存储里按需读入,峰值内存取决于当前激活的专家而不是总参数量;训练过的预路由头提前一步预测下一个 token 要用的专家,作者称解码吞吐最多提升 59%;4 位底座配蒸馏出来的 LoRA 弥补量化损失。11 月 4 日发布了基于 GGML 的统一引擎 edge0-infer,同一套 C++ 接口跑在 macOS、iOS、Android 和 Windows 上,带命令行、OpenAI 兼容本地服务和聊天应用示例;配套的 Edge0-35B-A3B 基于 Qwen3.6-35B-A3B,作者自测 OpenCompass 五项平均比原版低 3.9 分。
为什么重要 提前一步预测要用哪些专家,读盘和计算重叠,手机和普通电脑也能本地跑大 MoE 模型。
星数 9670(+483 / 24h)
理由
- 24 小时新增 483 星(只代表关注度)
- README 给出作者在各平台的测速表:M5 MacBook 用 Metal 解码约 24.8 tok/s、峰值内存 3.43 GiB,iPhone 17 Pro Max 约 13.2 tok/s
用法
- 按 edge0-infer 的 Getting Started 编译,用自带的资源工具下载 Edge0-35B-A3B-preview 并转换后启动命令行或本地服务
风险
- 速度和分数都是作者自测;首次准备需要约 18 GB 原始权重和约 20 GB 转换后的资源空间
- 统一引擎目前只支持 35B 档,8B 档还在计划中;固态硬盘速度会直接影响生成速度