原题:AuroraAI-Research/Aurora2-400M-A20M
AuroraAI-Research 11 月 18 日上传的研究用基座模型:约 4 亿总参数、每 token 激活约 1900 万,12 层、隐藏维度 192,每层 32 个路由专家(top-1)加 1 个共享专家,上下文 2,048 token,自训 16,384 词表的字节级 BPE 分词器(数字逐位切分)。在一张 RTX Pro 6000 上约 36 小时训完 1000 亿 token,数据以 ClimbMix 网页文本为主,另有 FineMath、维基百科、数学推理和 smoltalk 对话数据。只做了预训练,没有指令微调或 RLHF。
为什么重要 完整公开了架构细节、数据配比和训练耗时,个人研究者能照着复现小规模 MoE 实验,Apache 许可
上升分 31 · 点赞 42 · 下载量 643
理由
- 卡里写全了架构技巧:哈希 n-gram 嵌入、嵌入跳连、值残差、每头注意力门控、可学习路由偏置,以及负载均衡和 router z-loss 系数
- 不丢 token 的 top-1 路由,用 Muon 优化器;适合研究小模型、稀疏专家路由和训练效率
- 仓库提供 FP32、BF16、FP16 三种精度的权重
用法
- transformers 加载 AuroraAI-Research/Aurora2-400M-A20M(分词器在仓库根目录,会自动在开头加 BOS),用 generate 做续写,卡里示例温度 0.5
- BF16 / FP16 权重分别在 bf16/、fp16/ 子目录;推理实现用 BF16 激活,建议用支持 BF16 的 CUDA 显卡
- 批量推理用 batch size 1 或不带填充的批;不支持束搜索
风险
- 是没做指令微调的基座模型,不能当聊天助手用;每 token 只激活约两千万参数,知识、推理和长程连贯性都很有限
- 主要是英文数据,上下文只有 2,048 token;卡里没有给基准分数,下游使用前要核对各训练数据集的许可。本条未运行