Aurora2 : un modèle MoE ultra-petit pré-entraîné de zéro sur une seule carte graphique

Modèle de base à usage recherche uploadé par AuroraAI-Research le 18 11 : environ 4 milliards de paramètres totaux, environ 1900 mille activés par token, 12 couches, dimension cachée 192, 32 experts routés par couche (top-1) plus 1 experts partagés, contexte de 2,048 tokens, tokenizer BPE au niveau des octets avec un vocabulaire auto-entraîné de 16,384 (les chiffres sont découpés chiffre par chiffre). Entraînement d'environ 1000 milliards de tokens en environ 36 heures sur une seule RTX Pro 6000, les données étant principalement du texte web ClimbMix, ainsi que FineMath, Wikipédia, des données de raisonnement mathématique et des conversations smoltalk. Seul le pré-entraînement a été effectué, sans ajustement d'instructions ni RLHF.

Titre original : AuroraAI-Research/Aurora2-400M-A20M

Modèle de base à usage recherche uploadé par AuroraAI-Research le 18 11 : environ 4 milliards de paramètres totaux, environ 1900 mille activés par token, 12 couches, dimension cachée 192, 32 experts routés par couche (top-1) plus 1 experts partagés, contexte de 2,048 tokens, tokenizer BPE au niveau des octets avec un vocabulaire auto-entraîné de 16,384 (les chiffres sont découpés chiffre par chiffre). Entraînement d'environ 1000 milliards de tokens en environ 36 heures sur une seule RTX Pro 6000, les données étant principalement du texte web ClimbMix, ainsi que FineMath, Wikipédia, des données de raisonnement mathématique et des conversations smoltalk. Seul le pré-entraînement a été effectué, sans ajustement d'instructions ni RLHF.

Pourquoi c'est important Les détails de l'architecture, la répartition des données et la durée d'entraînement sont entièrement publiés, permettant aux chercheurs individuels de reproduire des expériences MoE à petite échelle, sous licence Apache

Score en hausse 31 · J'aime 42 · Téléchargements 643

Raisons

  • La fiche technique détaille toutes les astuces architecturales : embeddings n-gramme hachés, connexions sautées d'embeddings, résiduels de valeur, porte d'attention par tête, biais de routage apprenables, ainsi que les coefficients de perte z du routeur et d'équilibrage de charge
  • Routage top-1 sans perte de tokens, utilisant l'optimiseur Muon ; adapté à la recherche sur les petits modèles, le routage d'experts épars et l'efficacité de l'entraînement
  • Le dépôt fournit des poids en trois précisions : FP32, BF16 et FP16

Utilisation

  • Chargez AuroraAI-Research/Aurora2-400M-A20M avec transformers (le tokenizer est à la racine du dépôt, il ajoute automatiquement un BOS au début), utilisez generate pour la continuation de texte, la température dans l'exemple de la fiche technique est 0.5
  • Les poids BF16 / FP16 se trouvent respectivement dans les sous-répertoires bf16/ et fp16/ ; l'implémentation de l'inférence utilise des activations BF16, il est recommandé d'utiliser une carte graphique CUDA compatible avec BF16
  • Pour l'inférence par lots, utilisez une taille de lot 1 ou des lots sans remplissage ; la recherche par faisceau n'est pas prise en charge

Risques

  • C'est un modèle de base sans ajustement d'instructions, il ne peut donc pas être utilisé comme assistant de chat ; seuls environ vingt millions de paramètres sont activés par token, les connaissances, le raisonnement et la cohérence à long terme sont très limités
  • Les données sont principalement en anglais, le contexte est limité à 2,048 tokens ; aucun score de benchmark n'est fourni dans la fiche technique, il faut vérifier les licences des différents jeux de données d'entraînement avant toute utilisation en aval. Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA