원제: Interactive-Active-AI/NextTransformer
오픈소스 학습 프레임워크 및 실험 기록: 동일한 데이터셋, 동일한 49.152B 토큰, 동일한 토큰당 이론적 학습 연산량 조건에서 순환 깊이, 희소 어텐션, 선형 어텐션, 잔차 스트림 변형 및 하이브리드 아키텍처(GQA, NSA, MoBA, GDN 등)를 학습하고 비교하며, 동일한 체크포인트에서 평가합니다. README에 따르면 31회의 전체 학습, 36장의 모델 카드 및 전체 프로토콜이 공개되었으며, AI 에이전트가 동일한 규칙으로 새로운 아키텍처를 연구할 수 있는 Arena를 제공합니다. 11월 5일에는 200B 및 400B 토큰 규모 확장에 대한 의견 수렴을 시작했습니다.
왜 중요한가 각 아키텍처 논문마다 실험 조건이 다르지만, 이 프로젝트는 조건을 통일하고 감사 가능한 기록을 남겨 연구자들이 비교하고 재현하기 쉽게 합니다.
스타 수 319 (+35 / 24h)
이유
- 24시간 동안 스타 35개 증가, 총 스타 수 319개(관심도만 반영).
리스크
- README에 따르면 약 1.4B 파라미터 모델의 1회 사전 학습에는 단일 8카드 노드에서 2~4일이 소요되어 개인이 재현하기 매우 어려움
- Arena v2의 저자는 11월 14일 이전에 출시할 것이라고 밝혔으나, 현재 기능이 불완전함