MiniMind は、約 64M パラメータの超小型言語モデルの完全なトレーニングパイプラインをオープンソース化しました。データクリーニング、事前学習、教師あり微調整(SFT)、LoRA、DPO、PPO / GRPO / CISPO、ツール呼び出し、マルチターンエージェント強化学習、蒸留が含まれており、さらに MoE バージョンや視覚・マルチモーダル拡張機能も提供されています。作者によると、SFT フェーズは単一の 3090 で 1 エポックあたり約 2 時間かかります。重みは Hugging Face と ModelScope に公開されており、オンラインで体験できます。
なぜ重要か コアアルゴリズムはネイティブの PyTorch を用いてゼロから実装されており、transformers、trl、peft の高レベルインターフェースに依存していません。大規模モデルのトレーニングにおける各ステップを分解して理解するのに適しています。
スター数 65991(+192 / 24h)
理由
- 過去 24 時間で新たに 192 スターを獲得し、合計スター数は 65991 です。Trendshift と GitHub Trending の両方で当日は第 14 位でした(これは注目度を示すに過ぎません)。ライセンスは Apache-2.0 です。
- README の更新履歴によると、4 月に minimind-3 シリーズがリリースされ、3 月にはマルチターン Tool-Use 強化学習スクリプトが追加されました。
使い方
- README に従ってデータセットを準備し、事前学習や SFT などのトレーニングスクリプトを実行します。体験のみを希望する場合は、ModelScope のオンラインデモを直接利用できます。
リスク
- これは教育用小規模モデルであり、汎用大規模モデルほどの能力はありません。リポジトリは 2024 年に作成され、ここ数ヶ月間、新しいメジャーバージョンのリリースはありません。
- README には、すべての実験ブランチの重みが継続的にメンテナンスされるわけではないと明記されています。