NandiBERT: энкодер, поддерживающий английский и индийские языки

Серия малых моделей NandiBERT от FrontiersMind, выпущенная 11 18: энкодер с 1.46 млрд параметров (в файле также сохранен несвязанный выходной слой MLM с 7700 млн параметров), 28 слоев, размер скрытого представления 768, используется групповое запросное внимание (GQA), QK-norm и SwiGLU, контекст составляет 16,384 токенов, словарь из 10 тыс. слов использует вложения с ранговой декомпозицией 192. Охватывает английский язык, оригинальную запись на 13 индийских языках (из которых для 11 поддерживается также латинская транслитерация), а также языки Юго-Восточной Азии и Ближнего Востока. Это предобученный энкодер, предназначенный для дообучения на downstream-задачах, таких как классификация, распознавание именованных сущностей, переупорядочивание и поиск.

Оригинальное название: FrontiersMind/NandiBERT-150M

Серия малых моделей NandiBERT от FrontiersMind, выпущенная 11 18: энкодер с 1.46 млрд параметров (в файле также сохранен несвязанный выходной слой MLM с 7700 млн параметров), 28 слоев, размер скрытого представления 768, используется групповое запросное внимание (GQA), QK-norm и SwiGLU, контекст составляет 16,384 токенов, словарь из 10 тыс. слов использует вложения с ранговой декомпозицией 192. Охватывает английский язык, оригинальную запись на 13 индийских языках (из которых для 11 поддерживается также латинская транслитерация), а также языки Юго-Восточной Азии и Ближнего Востока. Это предобученный энкодер, предназначенный для дообучения на downstream-задачах, таких как классификация, распознавание именованных сущностей, переупорядочивание и поиск.

Почему это важно При выполнении задач классификации, распознавания сущностей и переупорядочивания результатов поиска не требуется использовать отдельные энкодеры для английского и индийских языков; согласно официальным данным, модель показывает лучшие результаты среди аналогов того же размера по обеим группам языков

Рост рейтинга: 28 · Лайки: 31 · Количество загрузок: 173

Причины

  • Средний балл на официальных бенчмарках для индийских языков составляет 67.37, что выше, чем у IndicBERT-v2 с 2.72 млрд параметров (результат: 66.57)
  • Средний балл на английских бенчмарках составляет 62.20, что выше, чем у ModernBERT-base (60.69) и Ettin-Encoder-150M (61.48), но ниже, чем у чисто англоязычной модели UltraBERT-150M (64.59)
  • В той же серии также представлена модель NandiBERT-450M с 4.45 млрд параметров и контекстом 32K; лицензия Apache-2.0

Использование

  • Используйте transformers версии 5.x с параметром trust_remote_code=True, загружайте модель через AutoModelForMaskedLM для задач заполнения пропусков; для классификации и распознавания именованных сущностей (NER) используйте AutoModelForSequenceClassification / AutoModelForTokenClassification, которые повторно используют предобученную голову MLM
  • Официально рекомендуется использовать скорость обучения 3e-5 для задач NER; более низкие скорости обучения, такие как 5e-6, дают значительно худшие результаты; при подаче слов на вход передавайте их в исходном виде

Риски

  • Это энкодер, требующий дообучения; он не предназначен для диалога или генерации текста. Технический отчет еще не опубликован, данные для обучения не описаны, китайский язык не входит в список поддерживаемых
  • По двум задачам — IndicQA и заполнению слотов MASSIVE — результаты ниже, чем у IndicBERT-v2; показатели получены в ходе официальных тестов (среднее по трем случайным сидам), в рамках данной публикации тесты не проводились

Открыть

Hugging Face Trending

Открыть последние новости ИИ