原题:FrontiersMind/NandiBERT-150M
FrontiersMind 11 月 18 日发布的 NandiBERT 系列小号:编码器参数 1.46 亿(文件里另存 7700 万参数的未绑定 MLM 输出层),28 层、隐藏维度 768,用分组查询注意力、QK-norm 和 SwiGLU,上下文 16,384 token,10 万词表做 192 秩分解嵌入。覆盖英语、13 种印度语言的原文书写(其中 11 种也支持罗马化写法),以及东南亚和中东语言。是给下游微调用的预训练编码器,面向分类、命名实体识别、重排和检索。
为什么重要 做分类、实体识别和检索重排时,英语和印度语言不必各配一个编码器;官方称同尺寸里两边成绩都靠前
上升分 28 · 点赞 31 · 下载量 173
理由
- 官方印度语言基准平均 67.37,高于 2.72 亿参数的 IndicBERT-v2(66.57)
- 英文基准平均 62.20,高于 ModernBERT-base(60.69)和 Ettin-Encoder-150M(61.48),低于纯英文的 UltraBERT-150M(64.59)
- 同系还有 4.45 亿参数、32K 上下文的 NandiBERT-450M;Apache-2.0 许可
用法
- transformers 5.x 加 trust_remote_code=True,用 AutoModelForMaskedLM 加载做填空;分类和 NER 用 AutoModelForSequenceClassification / AutoModelForTokenClassification,会复用预训练 MLM 头
- 官方建议 NER 学习率 3e-5,5e-6 这类低学习率效果差很多;按词输入时直接传原词
风险
- 是要微调的编码器,不能对话或生成文本;技术报告尚未发布,训练数据没有说明,中文不在支持语言里
- IndicQA、MASSIVE 槽位填充两项低于 IndicBERT-v2;成绩为官方自测(三个随机种子平均),本条未运行