このリポジトリは Flax、Equinox、PyTorch に依存しておらず、パラメータは通常の辞書形式で、モデル全体は deepseek_v3.py に実装されています。MLA では各トークンにつき小さな潜在ベクトルを 1 つだけキャッシュし、DeepSeekMoE は 1 個の共有エキスパートと 16 個のルーティングエキスパートで構成され、エキスパートバイアスによる負荷分散が行われます。さらにマルチトークン予測モジュールも備わっています。著者はパブリックドメインの探偵小説を用いて、3620 万パラメータ(トークンあたりアクティブパラメータ 1360 万)のモデルを訓練し、M5 MacBook Air 上で約 2.6 時間実行しました。負荷分散バイアスを無効化した場合と有効化した場合で検証損失はほぼ同じでしたが、エキスパートの負荷分布は明らかに均一になり、論文の主張と一致しました。
なぜ重要か 論文で述べられている潜在アテンション、混合エキスパート、補助損失なしの負荷分散、マルチトークン予測はそれぞれ 1 つの関数に対応しており、上から下へ読むだけで V3 の構造を理解できます。
スター数 102
理由
- リポジトリは 11 月 13 日に作成され、MIT ライセンスです。README を確認済みで、段落ごとの解説付きの長文ドキュメントと再現可能なデータハッシュが含まれています
- 著者はこれがアーキテクチャのデモであり、実用可能な言語モデルではないと明言し、未実装の部分(FP8 訓練、DualPipe、YaRN など)を列挙しています
使い方
- Apple Silicon Mac、Python 3.12、uv が必要です。クローン後、README に従って固定バージョンの依存関係をインストールし、prepare_data.py でデータを準備、train.py で訓練します。Mac が用意できない場合は「Running on CPU」セクションの手順に従って CPU 上で実行できます
リスク
- 公開されているチェックポイントは Python pickle ファイルであり、読み込み時にコードが実行される可能性があります。著者は信頼できるソースからのファイルのみを読み込むよう注意を促しています
- 訓練結果の数値は著者による 1 回のランに基づいています