NandiBERT:兼顾英语和印度语言的编码器

FrontiersMind 11 月 18 日发布的 NandiBERT 系列小号:编码器参数 1.46 亿(文件里另存 7700 万参数的未绑定 MLM 输出层),28 层、隐藏维度 768,用分组查询注意力、QK-norm 和 SwiGLU,上下文 16,384 token,10 万词表做 192 秩分解嵌入。覆盖英语、13 种印度语言的原文书写(其中 11 种也支持罗马化写法),以及东南亚和中东语言。是给下游微调用的预训练编码器,面向分类、命名实体识别、重排和检索。

原题:FrontiersMind/NandiBERT-150M

FrontiersMind 11 月 18 日发布的 NandiBERT 系列小号:编码器参数 1.46 亿(文件里另存 7700 万参数的未绑定 MLM 输出层),28 层、隐藏维度 768,用分组查询注意力、QK-norm 和 SwiGLU,上下文 16,384 token,10 万词表做 192 秩分解嵌入。覆盖英语、13 种印度语言的原文书写(其中 11 种也支持罗马化写法),以及东南亚和中东语言。是给下游微调用的预训练编码器,面向分类、命名实体识别、重排和检索。

为什么重要 做分类、实体识别和检索重排时,英语和印度语言不必各配一个编码器;官方称同尺寸里两边成绩都靠前

上升分 28 · 点赞 31 · 下载量 173

理由

  • 官方印度语言基准平均 67.37,高于 2.72 亿参数的 IndicBERT-v2(66.57)
  • 英文基准平均 62.20,高于 ModernBERT-base(60.69)和 Ettin-Encoder-150M(61.48),低于纯英文的 UltraBERT-150M(64.59)
  • 同系还有 4.45 亿参数、32K 上下文的 NandiBERT-450M;Apache-2.0 许可

用法

  • transformers 5.x 加 trust_remote_code=True,用 AutoModelForMaskedLM 加载做填空;分类和 NER 用 AutoModelForSequenceClassification / AutoModelForTokenClassification,会复用预训练 MLM 头
  • 官方建议 NER 学习率 3e-5,5e-6 这类低学习率效果差很多;按词输入时直接传原词

风险

  • 是要微调的编码器,不能对话或生成文本;技术报告尚未发布,训练数据没有说明,中文不在支持语言里
  • IndicQA、MASSIVE 槽位填充两项低于 IndicBERT-v2;成绩为官方自测(三个随机种子平均),本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态