原题:Interactive-Active-AI/NextTransformer
开源训练框架和实验记录:在同一份数据、同样的 49.152B token、同样的每 token 理论训练算力下,训练并对比循环深度、稀疏注意力、线性注意力、残差流变体和混合架构(GQA、NSA、MoBA、GDN 等),在相同检查点评测。README 称已公开 31 次完整训练、36 张模型卡和完整协议,并给 AI 智能体提供按同一规则研究新架构的 Arena;11 月 5 日发起了 200B、400B token 规模扩展的征求意见。
为什么重要 各家架构论文的实验条件不同,这里统一条件并留下可审计记录,方便研究者对照和复现。
星数 319(+35 / 24h)
理由
- 24 小时新增 35 星,总星 319(只代表关注度)。
风险
- README 称约 1.4B 参数模型的一轮预训练要单台 8 卡节点跑 2–4 天,个人很难复现
- Arena v2 作者称 11 月 14 日前推出,目前功能不完整