Aurora2:1枚のGPUでゼロから事前学習した超小型MoEモデル

AuroraAI-Researchが11月18日にアップロードした研究用ベースモデル:総パラメータ数約4億、トークンあたりのアクティブパラメータ数約1900万、12層、隠れ次元192、各層に32個のルーティング専門家(top-1)と1個の共有専門家、コンテキスト長2,048トークン、独自に訓練した語彙サイズ16,384のバイトレベルBPEトークナイザー(数字は1桁ごとに分割)。RTX Pro 6000を1枚使用し、約36時間で1000億トークンの学習を完了。データはClimbMixのウェブテキストが中心で、FineMath、Wikipedia、数学推論、smoltalkの対話データも含まれる。事前学習のみを実施し、指示チューニングやRLHFは行っていない。

原題:AuroraAI-Research/Aurora2-400M-A20M

AuroraAI-Researchが11月18日にアップロードした研究用ベースモデル:総パラメータ数約4億、トークンあたりのアクティブパラメータ数約1900万、12層、隠れ次元192、各層に32個のルーティング専門家(top-1)と1個の共有専門家、コンテキスト長2,048トークン、独自に訓練した語彙サイズ16,384のバイトレベルBPEトークナイザー(数字は1桁ごとに分割)。RTX Pro 6000を1枚使用し、約36時間で1000億トークンの学習を完了。データはClimbMixのウェブテキストが中心で、FineMath、Wikipedia、数学推論、smoltalkの対話データも含まれる。事前学習のみを実施し、指示チューニングやRLHFは行っていない。

なぜ重要か アーキテクチャの詳細、データ構成比、学習時間を完全に公開しており、個人研究者が小規模なMoE実験を再現できる。Apacheライセンス

上昇スコア 31 · いいね 42 · ダウンロード数 643

理由

  • モデルカードにはアーキテクチャの工夫がすべて記載されている:ハッシュn-gram埋め込み、埋め込みスキップ接続、値残差、ヘッドごとのアテンションゲーティング、学習可能なルーティングバイアス、および負荷分散とrouter z-lossの係数
  • トークンを失わないtop-1ルーティング、Muonオプティマイザーを使用。小規模モデル、スパース専門家ルーティング、学習効率の研究に適している
  • リポジトリにはFP32、BF16、FP16の3種類の精度の重みが提供されている

使い方

  • transformersでAuroraAI-Research/Aurora2-400M-A20Mを読み込む(トークナイザーはリポジトリのルートディレクトリにあり、自動的に先頭にBOSを追加する)。generateメソッドで続きを生成し、モデルカードの例では温度0.5を使用
  • BF16 / FP16の重みはそれぞれbf16/、fp16/サブディレクトリにある。推論実装ではBF16アクティベーションを使用し、BF16をサポートするCUDA GPUの使用を推奨
  • バッチ推論にはバッチサイズ1またはパディングなしのバッチを使用。ビームサーチには対応していない

リスク

  • 指示チューニングを行っていないベースモデルであり、チャットアシスタントとしては使用できない。トークンあたり約2,000万パラメータのみがアクティブであり、知識、推論、長距離の一貫性は非常に限定的
  • 主に英語データであり、コンテキスト長は2,048トークンのみ。モデルカードにはベンチマークスコアが記載されておらず、下流タスクでの使用前に各学習データセットのライセンスを確認する必要がある。本項目は実行されていない

開く

Hugging Face Trending

最新の AI ニュースを見る