元のタイトル：Interactive-Active-AI/NextTransformer
オープンソースのトレーニングフレームワークと実験記録：同一のデータ、同じ 49.152B トークン、トークンあたりの理論上のトレーニング計算量が同じ条件下で、循環深度、スパースアテンション、線形アテンション、残差ストリームの変種、およびハイブリッドアーキテクチャ（GQA、NSA、MoBA、GDN など）をトレーニングし、同じチェックポイントで評価する。README には、31 回の完全なトレーニング、36 枚のモデルカード、および完全なプロトコルが公開済みであると記載されており、AI エージェントに対して同じルールで新しいアーキテクチャを研究するための Arena が提供されている。11 月 5 日には、200B および 400B トークン規模のスケーリングに関する意見募集が開始された。
なぜ重要か 各アーキテクチャの論文では実験条件が異なるが、ここでは条件を統一し、監査可能な記録を残すことで、研究者による比較と再現を容易にする。
スター数 319（+35 / 24h）
理由
- 24 時間で新たに 35 スター増加し、合計スター数は 319（これは注目度を示すに過ぎない）。
リスク
- README によると、約 1.4B パラメータのモデルの 1 回の事前学習には、単一の 8 カードノードで 2〜4 日かかるため、個人での再現は困難である
- Arena v2 の作者は、11 月 14 日までにリリース予定と述べているが、現時点では機能が不完全である