Оригинальное название: Interactive-Active-AI/NextTransformer
Фреймворк для обучения с открытым исходным кодом и записи экспериментов: обучение и сравнение рекурсивной глубины, разреженного внимания, линейного внимания, вариантов потока остатков и гибридных архитектур (GQA, NSA, MoBA, GDN и др.) на одних и тех же данных, при одинаковом количестве токенов 49.152B и одинаковой теоретической вычислительной мощности на токен, с оценкой на тех же контрольных точках. В README указано, что опубликовано 31 полных циклов обучения, 36 карточек моделей и полная протокольная документация; также предоставляется Arena для ИИ-агентов, позволяющая исследовать новые архитектуры по единым правилам. 5. 11 было инициировано обсуждение масштабирования до 200B и 400B токенов.
Почему это важно Условия экспериментов в статьях о различных архитектурах отличаются; здесь условия унифицированы, а записи остаются доступными для аудита, что облегчает исследователям сравнение и воспроизведение результатов.
Количество звёзд 319 (+35 / за 24 ч)
Причины
- За 24 часов добавлено 35 звёзд, общее количество звёзд составляет 319 (отражает только уровень внимания).
Риски
- Согласно README, один цикл предобучения модели с примерно 1.4B параметров требует работы на узле с 8 картами в течение 2–4 дней, что сложно воспроизвести индивидуально.
- Автор Arena v2 заявил, что она будет запущена до 14. 11, но на данный момент функциональность неполная.