Оригинальное название: FrontiersMind/NandiBERT-150M
Серия малых моделей NandiBERT от FrontiersMind, выпущенная 11 18: энкодер с 1.46 млрд параметров (в файле также сохранен несвязанный выходной слой MLM с 7700 млн параметров), 28 слоев, размер скрытого представления 768, используется групповое запросное внимание (GQA), QK-norm и SwiGLU, контекст составляет 16,384 токенов, словарь из 10 тыс. слов использует вложения с ранговой декомпозицией 192. Охватывает английский язык, оригинальную запись на 13 индийских языках (из которых для 11 поддерживается также латинская транслитерация), а также языки Юго-Восточной Азии и Ближнего Востока. Это предобученный энкодер, предназначенный для дообучения на downstream-задачах, таких как классификация, распознавание именованных сущностей, переупорядочивание и поиск.
Почему это важно При выполнении задач классификации, распознавания сущностей и переупорядочивания результатов поиска не требуется использовать отдельные энкодеры для английского и индийских языков; согласно официальным данным, модель показывает лучшие результаты среди аналогов того же размера по обеим группам языков
Рост рейтинга: 28 · Лайки: 31 · Количество загрузок: 173
Причины
- Средний балл на официальных бенчмарках для индийских языков составляет 67.37, что выше, чем у IndicBERT-v2 с 2.72 млрд параметров (результат: 66.57)
- Средний балл на английских бенчмарках составляет 62.20, что выше, чем у ModernBERT-base (60.69) и Ettin-Encoder-150M (61.48), но ниже, чем у чисто англоязычной модели UltraBERT-150M (64.59)
- В той же серии также представлена модель NandiBERT-450M с 4.45 млрд параметров и контекстом 32K; лицензия Apache-2.0
Использование
- Используйте transformers версии 5.x с параметром trust_remote_code=True, загружайте модель через AutoModelForMaskedLM для задач заполнения пропусков; для классификации и распознавания именованных сущностей (NER) используйте AutoModelForSequenceClassification / AutoModelForTokenClassification, которые повторно используют предобученную голову MLM
- Официально рекомендуется использовать скорость обучения 3e-5 для задач NER; более низкие скорости обучения, такие как 5e-6, дают значительно худшие результаты; при подаче слов на вход передавайте их в исходном виде
Риски
- Это энкодер, требующий дообучения; он не предназначен для диалога или генерации текста. Технический отчет еще не опубликован, данные для обучения не описаны, китайский язык не входит в список поддерживаемых
- По двум задачам — IndicQA и заполнению слотов MASSIVE — результаты ниже, чем у IndicBERT-v2; показатели получены в ходе официальных тестов (среднее по трем случайным сидам), в рамках данной публикации тесты не проводились