KLM 1.6:不到一亿参数的小型基座模型

MinimaLabs 的 99M 参数英文基座模型,从 KLM 1.5 衰减前的检查点继续训练,唯一主要变化是学习率衰减阶段从 20B token 拉长到 100B token。训练分三段:先用词元叠加训练(Token-Superposition Training,每个输入位置是 7 个连续词元的平均)预热,作者称用约 18B 的算力覆盖 128B token;再以恒定学习率训练 80B token;最后衰减 100B token。架构为 24 层 Gated DeltaNet-2 与注意力 3:1 混合,另有 12.5 万个二元组和 3.8 万个三元组的 n-gram 记忆。作者称在 Open SLM 排行榜上智能指数 33.95,在 100M、150M、250M 以下三档都排第一。

原题:MinimaLabs/KLM-1.6

MinimaLabs 的 99M 参数英文基座模型,从 KLM 1.5 衰减前的检查点继续训练,唯一主要变化是学习率衰减阶段从 20B token 拉长到 100B token。训练分三段:先用词元叠加训练(Token-Superposition Training,每个输入位置是 7 个连续词元的平均)预热,作者称用约 18B 的算力覆盖 128B token;再以恒定学习率训练 80B token;最后衰减 100B token。架构为 24 层 Gated DeltaNet-2 与注意力 3:1 混合,另有 12.5 万个二元组和 3.8 万个三元组的 n-gram 记忆。作者称在 Open SLM 排行榜上智能指数 33.95,在 100M、150M、250M 以下三档都排第一。

为什么重要 一亿参数以下的训练配方样本:词元叠加预热、线性注意力混合架构和 n-gram 记忆都写在模型卡里

上升分 51 · 点赞 51 · 下载量 666

理由

  • 训练数据来源、三段式训练、优化器设置和架构参数都在模型卡里写全,便于复现小模型训练
  • 纯 PyTorch 实现,只需 transformers,CPU 也能跑

用法

  • AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True) 加载后续写文本
  • 它是基座模型,要做对话或推理需自己微调;分词器已预留 <|im_start|>、<think> 等特殊符号

风险

  • 只支持英文,上下文 2,048 token;作者称知识薄、陈述的事实常出错
  • 没有做安全对齐,直接给用户使用前要自己加过滤
  • 排行榜对比为作者引用,本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态