Tiêu đề gốc: Interactive-Active-AI/NextTransformer
Khung huấn luyện mã nguồn mở và nhật ký thực nghiệm: Huấn luyện và so sánh độ sâu lặp lại, cơ chế chú ý thưa, cơ chế chú ý tuyến tính, các biến thể dòng dư và kiến trúc lai (GQA, NSA, MoBA, GDN, v.v.) trên cùng một tập dữ liệu, cùng số lượng 49.152B token và cùng năng lực tính toán lý thuyết cho mỗi token, sau đó đánh giá tại các điểm kiểm tra giống nhau. README tuyên bố đã công khai 31 lần huấn luyện hoàn chỉnh, 36 thẻ mô hình và giao thức đầy đủ, đồng thời cung cấp cho các tác nhân AI một Arena để nghiên cứu các kiến trúc mới theo cùng một quy tắc; vào ngày 5 tháng 11 đã khởi động cuộc tham vấn ý kiến về việc mở rộng quy mô lên 200B và 400B token.
Tại sao quan trọng Các bài báo về kiến trúc từ các nhóm khác nhau có điều kiện thực nghiệm khác nhau, ở đây các điều kiện được chuẩn hóa và lưu lại hồ sơ có thể kiểm toán, giúp các nhà nghiên cứu dễ dàng đối chiếu và tái tạo.
Số sao 319 (+35 / 24h)
Lý do
- Tăng 35 sao trong 24 giờ, tổng số sao là 319 (chỉ phản ánh mức độ quan tâm).
Rủi ro
- README tuyên bố rằng một vòng tiền huấn luyện cho mô hình khoảng 1.4B tham số cần chạy từ 2–4 ngày trên một nút đơn lẻ gồm 8 thẻ, rất khó để cá nhân tái tạo
- Tác giả của Arena v2 tuyên bố sẽ ra mắt trước ngày 14 tháng 11, hiện tại chức năng chưa hoàn thiện