KLM 1.6:1億パラメータ未満の小規模基盤モデル

MinimaLabs の 99M パラメータの英語基盤モデル。KLM 1.5 の減衰前のチェックポイントから継続学習しており、主な変更点は学習率減衰フェーズを 20B トークンから 100B トークンに延長したことです。学習は3段階に分かれています。まず、トークン重畳学習(Token-Superposition Training、各入力位置は 7 個の連続トークンの平均)でウォームアップを行い、著者によれば約 18B の計算量で 128B トークンをカバーします。次に、一定の学習率で 80B トークンを学習し、最後に 100B トークンを減衰させます。アーキテクチャは、24 層の Gated DeltaNet-2 とアテンション 3:1 の混合であり、さらに 12.5 万個のバイグラムと 3.8 万個のトライグラムの n-gram メモリを備えています。著者によれば、Open SLM リーダーボードでの知能指数は 33.95 であり、100M、150M、250M 以下の3つのカテゴリーでいずれも1位を獲得しています。

原題:MinimaLabs/KLM-1.6

MinimaLabs の 99M パラメータの英語基盤モデル。KLM 1.5 の減衰前のチェックポイントから継続学習しており、主な変更点は学習率減衰フェーズを 20B トークンから 100B トークンに延長したことです。学習は3段階に分かれています。まず、トークン重畳学習(Token-Superposition Training、各入力位置は 7 個の連続トークンの平均)でウォームアップを行い、著者によれば約 18B の計算量で 128B トークンをカバーします。次に、一定の学習率で 80B トークンを学習し、最後に 100B トークンを減衰させます。アーキテクチャは、24 層の Gated DeltaNet-2 とアテンション 3:1 の混合であり、さらに 12.5 万個のバイグラムと 3.8 万個のトライグラムの n-gram メモリを備えています。著者によれば、Open SLM リーダーボードでの知能指数は 33.95 であり、100M、150M、250M 以下の3つのカテゴリーでいずれも1位を獲得しています。

なぜ重要か 1億パラメータ未満の学習レシピのサンプル:トークン重畳ウォームアップ、線形アテンション混合アーキテクチャ、n-gram メモリがすべてモデルカードに記載されています

上昇スコア 51 · いいね 51 · ダウンロード数 666

理由

  • 学習データの出典、3段階の学習プロセス、オプティマイザの設定、アーキテクチャのパラメータがすべてモデルカードに詳細に記載されており、小規模モデルの学習を再現しやすい
  • 純粋な PyTorch 実装で、transformers のみが必要であり、CPU でも動作可能

使い方

  • AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True) を使用して読み込み、テキストの続きを生成
  • これは基盤モデルであるため、対話や推論を行うには独自にファインチューニングが必要。トークナイザーには |im_start|、<think> などの特殊トークンがすでに予約されています

リスク

  • 英語のみサポート、コンテキスト長は 2,048 トークン。著者によれば知識が薄く、事実の記述に誤りが多く含まれる
  • セーフティアライメントが施されていないため、ユーザーに直接提供する前に独自のフィルタリングを追加する必要がある
  • リーダーボードとの比較は著者による引用であり、本記事では検証を行っていません

開く

Hugging Face Trending

最新の AI ニュースを見る