Tiêu đề gốc: MinimaLabs/KLM-1.6
Mô hình nền tảng tiếng Anh có 99M tham số của MinimaLabs, được tiếp tục huấn luyện từ điểm kiểm tra trước giai đoạn suy giảm của KLM 1.5, với thay đổi chính duy nhất là kéo dài giai đoạn suy giảm tốc độ học từ 20B token lên 100B token. Quá trình huấn luyện gồm ba giai đoạn: đầu tiên là khởi động bằng Huấn luyện Chồng chất Token (Token-Superposition Training, trong đó mỗi vị trí đầu vào là trung bình của 7 token liên tiếp), các tác giả cho biết đã sử dụng khoảng 18B tài nguyên tính toán để xử lý 128B token; sau đó huấn luyện với tốc độ học không đổi trên 80B token; cuối cùng suy giảm trên 100B token. Kiến trúc bao gồm 24 lớp Gated DeltaNet-2 kết hợp với cơ chế chú ý 3:1, cùng với bộ nhớ n-gram gồm 12.5 vạn cặp đôi (bigram) và 3.8 vạn bộ ba (trigram). Các tác giả cho biết chỉ số thông minh là 33.95 trên bảng xếp hạng Open SLM, xếp thứ nhất trong cả ba hạng mục dưới 100M, 150M và 250M.
Tại sao quan trọng Một mẫu công thức huấn luyện cho mô hình dưới một tỷ tham số: khởi động bằng chồng chất token, kiến trúc kết hợp cơ chế chú ý tuyến tính và bộ nhớ n-gram đều được ghi rõ trong thẻ mô hình
Điểm tăng 51 · Lượt thích 51 · Lượt tải 666
Lý do
- Nguồn dữ liệu huấn luyện, quy trình huấn luyện ba giai đoạn, cấu hình tối ưu hóa và tham số kiến trúc đều được ghi đầy đủ trong thẻ mô hình, giúp dễ dàng tái tạo việc huấn luyện mô hình nhỏ
- Cài đặt thuần PyTorch, chỉ cần thư viện transformers, có thể chạy trên CPU
Cách sử dụng
- Sử dụng AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True) để tải mô hình và tiếp tục tạo văn bản
- Đây là mô hình nền tảng, nếu muốn thực hiện hội thoại hoặc suy luận thì cần tự tinh chỉnh; bộ tách từ đã dành sẵn các ký tự đặc biệt như <|im_start|>, <think>
Rủi ro
- Chỉ hỗ trợ tiếng Anh, ngữ cảnh 2,048 token; các tác giả cho biết kiến thức còn hạn chế và các sự kiện được trình bày thường xuyên sai sót
- Chưa được căn chỉnh an toàn, cần tự thêm bộ lọc trước khi cung cấp cho người dùng
- So sánh trên bảng xếp hạng là do các tác giả trích dẫn, mục này chưa được chạy thử