Titre original : Interactive-Active-AI/NextTransformer
Cadre d'entraînement open source et journal d'expériences : entraînement et comparaison, sur le même jeu de données, avec le même nombre de 49.152B tokens et la même puissance de calcul théorique par token, d'architectures à profondeur récurrente, attention sparse, attention linéaire, variantes de flux résiduel et architectures hybrides (GQA, NSA, MoBA, GDN, etc.), évaluées aux mêmes points de contrôle. Le README indique que 31 entraînements complets, 36 cartes GPU et le protocole complet ont été publiés, et propose une Arena permettant aux agents IA d'étudier de nouvelles architectures selon les mêmes règles ; une consultation a été lancée le 5 11 pour l'extension d'échelle à 200B et 400B tokens.
Pourquoi c'est important Les conditions expérimentales varient d'un article sur les architectures à l'autre ; ici, les conditions sont unifiées et un journal auditable est conservé, facilitant la comparaison et la reproduction par les chercheurs.
Nombre d'étoiles 319 (+35 / 24h)
Raison
- 35 nouvelles étoiles en 24 heures, total de 319 étoiles (reflète uniquement le niveau d'attention).
Risques
- Le README indique qu'un tour de pré-entraînement pour un modèle d'environ 1.4B paramètres nécessite 2–4 jours sur un nœud unique de 8 cartes, ce qui est difficile à reproduire pour un particulier
- L'auteur de l'Arena v2 indique qu'elle sera lancée avant le 14 11, mais les fonctionnalités sont actuellement incomplètes