NextTransformer:同等算力下对比大模型架构

开源训练框架和实验记录:在同一份数据、同样的 49.152B token、同样的每 token 理论训练算力下,训练并对比循环深度、稀疏注意力、线性注意力、残差流变体和混合架构(GQA、NSA、MoBA、GDN 等),在相同检查点评测。README 称已公开 31 次完整训练、36 张模型卡和完整协议,并给 AI 智能体提供按同一规则研究新架构的 Arena;11 月 5 日发起了 200B、400B token 规模扩展的征求意见。

原题:Interactive-Active-AI/NextTransformer

开源训练框架和实验记录:在同一份数据、同样的 49.152B token、同样的每 token 理论训练算力下,训练并对比循环深度、稀疏注意力、线性注意力、残差流变体和混合架构(GQA、NSA、MoBA、GDN 等),在相同检查点评测。README 称已公开 31 次完整训练、36 张模型卡和完整协议,并给 AI 智能体提供按同一规则研究新架构的 Arena;11 月 5 日发起了 200B、400B token 规模扩展的征求意见。

为什么重要 各家架构论文的实验条件不同,这里统一条件并留下可审计记录,方便研究者对照和复现。

星数 319(+35 / 24h)

理由

  • 24 小时新增 35 星,总星 319(只代表关注度)。

风险

  • README 称约 1.4B 参数模型的一轮预训练要单台 8 卡节点跑 2–4 天,个人很难复现
  • Arena v2 作者称 11 月 14 日前推出,目前功能不完整

打开

GitHub

浏览最新 AI 动态