原題:AuroraAI-Research/Aurora2-400M-A20M
AuroraAI-Researchが11月18日にアップロードした研究用ベースモデル:総パラメータ数約4億、トークンあたりのアクティブパラメータ数約1900万、12層、隠れ次元192、各層に32個のルーティング専門家(top-1)と1個の共有専門家、コンテキスト長2,048トークン、独自に訓練した語彙サイズ16,384のバイトレベルBPEトークナイザー(数字は1桁ごとに分割)。RTX Pro 6000を1枚使用し、約36時間で1000億トークンの学習を完了。データはClimbMixのウェブテキストが中心で、FineMath、Wikipedia、数学推論、smoltalkの対話データも含まれる。事前学習のみを実施し、指示チューニングやRLHFは行っていない。
なぜ重要か アーキテクチャの詳細、データ構成比、学習時間を完全に公開しており、個人研究者が小規模なMoE実験を再現できる。Apacheライセンス
上昇スコア 31 · いいね 42 · ダウンロード数 643
理由
- モデルカードにはアーキテクチャの工夫がすべて記載されている:ハッシュn-gram埋め込み、埋め込みスキップ接続、値残差、ヘッドごとのアテンションゲーティング、学習可能なルーティングバイアス、および負荷分散とrouter z-lossの係数
- トークンを失わないtop-1ルーティング、Muonオプティマイザーを使用。小規模モデル、スパース専門家ルーティング、学習効率の研究に適している
- リポジトリにはFP32、BF16、FP16の3種類の精度の重みが提供されている
使い方
- transformersでAuroraAI-Research/Aurora2-400M-A20Mを読み込む(トークナイザーはリポジトリのルートディレクトリにあり、自動的に先頭にBOSを追加する)。generateメソッドで続きを生成し、モデルカードの例では温度0.5を使用
- BF16 / FP16の重みはそれぞれbf16/、fp16/サブディレクトリにある。推論実装ではBF16アクティベーションを使用し、BF16をサポートするCUDA GPUの使用を推奨
- バッチ推論にはバッチサイズ1またはパディングなしのバッチを使用。ビームサーチには対応していない
リスク
- 指示チューニングを行っていないベースモデルであり、チャットアシスタントとしては使用できない。トークンあたり約2,000万パラメータのみがアクティブであり、知識、推論、長距離の一貫性は非常に限定的
- 主に英語データであり、コンテキスト長は2,048トークンのみ。モデルカードにはベンチマークスコアが記載されておらず、下流タスクでの使用前に各学習データセットのライセンスを確認する必要がある。本項目は実行されていない