NandiBERT : un encodeur équilibrant l'anglais et les langues indiennes

La série NandiBERT de petite taille publiée par FrontiersMind le 18 11 : l'encodeur compte 1.46 milliards de paramètres (une couche de sortie MLM non liée de 7700 millions de paramètres est également stockée dans le fichier), avec 28 couches, une dimension cachée de 768, utilisant l'attention à requêtes groupées, la normalisation QK et SwiGLU, un contexte de 16,384 tokens, et des embeddings décomposés en rang 192 sur un vocabulaire de 10 millions. Elle couvre l'anglais, les écritures natives de 13 langues indiennes (dont 11 prennent également en charge la romanisation), ainsi que les langues d'Asie du Sud-Est et du Moyen-Orient. Il s'agit d'un encodeur pré-entraîné destiné au fine-tuning en aval, orienté vers la classification, la reconnaissance des entités nommées, le re-ranking et la récupération.

Titre original : FrontiersMind/NandiBERT-150M

La série NandiBERT de petite taille publiée par FrontiersMind le 18 11 : l'encodeur compte 1.46 milliards de paramètres (une couche de sortie MLM non liée de 7700 millions de paramètres est également stockée dans le fichier), avec 28 couches, une dimension cachée de 768, utilisant l'attention à requêtes groupées, la normalisation QK et SwiGLU, un contexte de 16,384 tokens, et des embeddings décomposés en rang 192 sur un vocabulaire de 10 millions. Elle couvre l'anglais, les écritures natives de 13 langues indiennes (dont 11 prennent également en charge la romanisation), ainsi que les langues d'Asie du Sud-Est et du Moyen-Orient. Il s'agit d'un encodeur pré-entraîné destiné au fine-tuning en aval, orienté vers la classification, la reconnaissance des entités nommées, le re-ranking et la récupération.

Pourquoi c'est important Pour la classification, la reconnaissance des entités et le re-ranking de récupération, il n'est pas nécessaire d'utiliser un encodeur distinct pour l'anglais et les langues indiennes ; selon les affirmations officielles, ce modèle obtient des scores élevés dans les deux domaines parmi les modèles de taille comparable

Score en hausse 28 · J'aime 31 · Téléchargements 173

Raisons

  • La moyenne officielle sur les benchmarks indiens est de 67.37, supérieure à celle d'IndicBERT-v2 (modèle de 2.72 milliards de paramètres, score de 66.57)
  • La moyenne sur les benchmarks anglais est de 62.20, supérieure à ModernBERT-base (60.69) et Ettin-Encoder-150M (61.48), mais inférieure à UltraBERT-150M, purement anglophone (64.59)
  • La série comprend également NandiBERT-450M, avec 4.45 milliards de paramètres et un contexte de 32K ; licence Apache-2.0

Utilisation

  • Avec transformers 5.x, ajoutez trust_remote_code=True et utilisez AutoModelForMaskedLM pour le remplissage de masques ; pour la classification et la reconnaissance des entités nommées (NER), utilisez AutoModelForSequenceClassification / AutoModelForTokenClassification, qui réutilisent la tête MLM pré-entraînée
  • Les recommandations officielles pour la NER indiquent un taux d'apprentissage de 3e-5 ; des taux plus bas comme 5e-6 donnent des résultats nettement moins bons ; lors de l'entrée par mot, transmettez directement les mots originaux

Risques

  • C'est un encodeur destiné au fine-tuning, incapable de dialoguer ou de générer du texte ; le rapport technique n'a pas encore été publié, les données d'entraînement ne sont pas documentées, et le chinois ne fait pas partie des langues prises en charge
  • Les scores sur IndicQA et le remplissage de créneaux MASSIVE sont inférieurs à ceux d'IndicBERT-v2 ; les résultats proviennent de tests officiels (moyenne sur trois graines aléatoires), cette entrée n'a pas été exécutée par nous

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA