Titre original : MinimaLabs/KLM-1.6
Modèle de base anglais de 99 M paramètres de MinimaLabs, entraîné en continuant à partir du point de contrôle de KLM 1.5 avant la décroissance, la seule modification majeure étant l'allongement de la phase de décroissance du taux d'apprentissage de 20 B jetons à 100 B jetons. L'entraînement se déroule en trois étapes : d'abord un préchauffage par entraînement par superposition de jetons (Token-Superposition Training, où chaque position d'entrée est la moyenne de 7 jetons consécutifs), les auteurs indiquant que cela couvre environ 128 B jetons avec environ 18 B de calcul ; puis un entraînement à taux d'apprentissage constant sur 80 B jetons ; enfin une décroissance sur 100 B jetons. L'architecture est un mélange de 24 couches de Gated DeltaNet-2 et d'attention 3:1, avec une mémoire n-gram de 12.5 000 bigrammes et 3.8 000 trigrammes. Les auteurs affirment un indice d'intelligence de 33.95 sur le classement Open SLM, se classant premier dans les trois catégories inférieures à 100 M, 150 M et 250 M.
Pourquoi c'est important Un exemple de recette d'entraînement pour les modèles de moins de 100 millions de paramètres : le préchauffage par superposition de jetons, l'architecture hybride à attention linéaire et la mémoire n-gram sont tous documentés dans la fiche du modèle
Score de montée 51 · J'aime 51 · Téléchargements 666
Raisons
- Les sources de données d'entraînement, l'entraînement en trois étapes, les paramètres de l'optimiseur et les paramètres d'architecture sont tous entièrement documentés dans la fiche du modèle, facilitant la reproduction de l'entraînement de petits modèles
- Implémentation purement PyTorch, nécessitant uniquement transformers, fonctionnant également sur CPU
Utilisation
- AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True) pour charger et générer du texte
- C'est un modèle de base ; pour le dialogue ou le raisonnement, un fine-tuning est nécessaire ; le tokenizer réserve déjà des tokens spéciaux comme <|im_start|> et <think>
Risques
- Supporte uniquement l'anglais, contexte de 2,048 jetons ; les auteurs indiquent une connaissance limitée et des faits souvent erronés
- Aucune alignement de sécurité n'a été effectué, il faut ajouter ses propres filtres avant de le mettre à disposition des utilisateurs
- Les comparaisons de classement sont citées par les auteurs, cette entrée n'a pas été exécutée