jingyaogong/minimind

MiniMind a open-sourcé une chaîne d'entraînement complète pour un très petit modèle de langage d'environ 64 M paramètres : nettoyage des données, pré-entraînement, ajustement supervisé (SFT), LoRA, DPO, PPO / GRPO / CISPO, appels d'outils, apprentissage par renforcement multi-tours pour agents et distillation, avec en plus une version MoE et des extensions visuelles et multimodales. L'auteur indique que la phase SFT prend environ 2 heures pour un tour sur une seule carte 3090 ; les poids sont disponibles sur Hugging Face et ModelScope, avec une expérience en ligne possible.

MiniMind a open-sourcé une chaîne d'entraînement complète pour un très petit modèle de langage d'environ 64 M paramètres : nettoyage des données, pré-entraînement, ajustement supervisé (SFT), LoRA, DPO, PPO / GRPO / CISPO, appels d'outils, apprentissage par renforcement multi-tours pour agents et distillation, avec en plus une version MoE et des extensions visuelles et multimodales. L'auteur indique que la phase SFT prend environ 2 heures pour un tour sur une seule carte 3090 ; les poids sont disponibles sur Hugging Face et ModelScope, avec une expérience en ligne possible.

Pourquoi c'est important Les algorithmes principaux sont écrits de zéro en PyTorch natif, sans dépendre des interfaces de haut niveau de transformers, trl ou peft, ce qui convient pour comprendre étape par étape chaque phase de l'entraînement des grands modèles.

Nombre d'étoiles 65991 (+192 / 24 h)

Raisons

  • 192 nouvelles étoiles en 24 heures, total de 65991 étoiles, classé 14 sur Trendshift et GitHub Trending ce jour-là (reflète uniquement l'attention) ; licence Apache-2.0
  • Le journal des modifications du README indique la sortie de la série minimind-3 en mois 4, avec ajout en mois 3 de scripts d'apprentissage par renforcement pour l'utilisation multi-tours d'outils (Tool-Use)

Utilisation

  • Préparez les jeux de données selon le README, puis exécutez successivement les scripts d'entraînement tels que pré-entraînement et SFT ; pour une simple expérience, utilisez directement la démo en ligne sur ModelScope

Risques

  • Il s'agit d'un petit modèle à vocation pédagogique, dont les capacités sont bien inférieures à celles des grands modèles généralistes ; le dépôt a été créé en 2024, sans nouvelle version majeure ces derniers mois
  • Le README précise que tous les poids des branches expérimentales ne sont pas nécessairement maintenus en continu

Ouvrir

Trendshift(GitHub Trending 快照)

Parcourir les dernières actualités IA