NandiBERT:英語とインド諸言語を両立するエンコーダー

FrontiersMindが11月18日にリリースしたNandiBERTシリーズの小モデル:エンコーダーパラメータは1.46億(ファイルには別途、7700万パラメータの未バインドMLM出力層が保存されています)、28層、隠れ次元768、グループ化クエリアテンション、QK-norm、SwiGLUを採用し、コンテキスト長は16,384トークン、10万語彙で192ランクの分解埋め込みを使用。英語、13種のインド諸言語の原文表記(そのうち11種はローマ字表記もサポート)、および東南アジアと中東の言語をカバー。下流タスクのファインチューニング用に設計された事前学習済みエンコーダーで、分類、名前付きエンティティ認識、リランキング、検索に対応。

原题:FrontiersMind/NandiBERT-150M

FrontiersMindが11月18日にリリースしたNandiBERTシリーズの小モデル:エンコーダーパラメータは1.46億(ファイルには別途、7700万パラメータの未バインドMLM出力層が保存されています)、28層、隠れ次元768、グループ化クエリアテンション、QK-norm、SwiGLUを採用し、コンテキスト長は16,384トークン、10万語彙で192ランクの分解埋め込みを使用。英語、13種のインド諸言語の原文表記(そのうち11種はローマ字表記もサポート)、および東南アジアと中東の言語をカバー。下流タスクのファインチューニング用に設計された事前学習済みエンコーダーで、分類、名前付きエンティティ認識、リランキング、検索に対応。

なぜ重要か 分類、エンティティ認識、検索リランキングを行う際、英語とインド諸言語でそれぞれ別のエンコーダーを用意する必要がなくなる。公式によれば、同サイズモデルの中で両言語群の性能が上位に位置している

上昇スコア 28 · いいね 31 · ダウンロード数 173

理由

  • 公式のインド諸言語ベンチマーク平均スコアは67.37で、2.72億パラメータのIndicBERT-v2(66.57)を上回っている
  • 英語ベンチマーク平均スコアは62.20で、ModernBERT-base(60.69)およびEttin-Encoder-150M(61.48)を上回るが、純粋な英語モデルのUltraBERT-150M(64.59)には及ばない
  • 同シリーズには、4.45億パラメータ、コンテキスト長32KのNandiBERT-450Mも存在し、ライセンスはApache-2.0

使い方

  • transformers 5.xでtrust_remote_code=Trueを指定し、AutoModelForMaskedLMで読み込んでマスク埋め込みタスクを実行。分類とNERにはAutoModelForSequenceClassification / AutoModelForTokenClassificationを使用し、事前学習済みMLMヘッドを再利用する
  • 公式はNERの学習率を3e-5に推奨しており、5e-6のような低い学習率では性能が大幅に低下する。単語単位で入力する場合は、元の単語をそのまま渡すこと

リスク

  • ファインチューニングを前提としたエンコーダーであり、対話やテキスト生成はできない。技術レポートは未公開で、訓練データに関する説明がなく、中国語はサポート言語に含まれていない
  • IndicQAおよびMASSIVEスロットフィルの2項目ではIndicBERT-v2を下回っている。スコアは公式による自己評価(3つのランダムシードの平均)であり、本記事では検証していない

開く

Hugging Face Trending

最新の AI ニュースを見る