Tiêu đề gốc: FrontiersMind/NandiBERT-150M
Loạt mô hình nhỏ NandiBERT do FrontiersMind 11 công bố vào ngày 18: bộ mã hóa có 1.46 tỷ tham số (tệp lưu trữ riêng lớp đầu ra MLM không liên kết với 7700 vạn tham số), gồm 28 lớp, chiều ẩn 768, sử dụng cơ chế chú ý truy vấn nhóm, QK-norm và SwiGLU, ngữ cảnh 16,384 token, từ điển 10 vạn từ được phân rã hạng thành nhúng bậc 192. Hỗ trợ tiếng Anh, văn bản gốc của 13 ngôn ngữ Ấn Độ (trong đó 11 ngôn ngữ cũng hỗ trợ cách viết Latin hóa), cùng các ngôn ngữ Đông Nam Á và Trung Đông. Đây là bộ mã hóa được huấn luyện trước để tinh chỉnh cho các tác vụ hạ nguồn, hướng tới phân loại, nhận dạng thực thể có tên, sắp xếp lại và truy xuất.
Tại sao quan trọng Khi làm phân loại, nhận dạng thực thể và sắp xếp lại truy xuất, không cần dùng hai bộ mã hóa riêng biệt cho tiếng Anh và các ngôn ngữ Ấn Độ; theo thông tin chính thức, mô hình này đạt điểm cao ở cả hai mảng trong cùng kích thước
Điểm tăng 28 · Lượt thích 31 · Lượt tải xuống 173
Lý do
- Điểm trung bình trên các bộ chuẩn Ấn Độ chính thức là 67.37, cao hơn IndicBERT-v2 với 2.72 tỷ tham số (66.57)
- Điểm trung bình trên các bộ chuẩn tiếng Anh là 62.20, cao hơn ModernBERT-base (60.69) và Ettin-Encoder-150M (61.48), nhưng thấp hơn UltraBERT-150M thuần tiếng Anh (64.59)
- Cùng dòng còn có NandiBERT-450M với 4.45 tỷ tham số và ngữ cảnh 32K; giấy phép Apache-2.0
Cách sử dụng
- Sử dụng transformers phiên bản 5.x cùng với trust_remote_code=True, dùng AutoModelForMaskedLM để tải mô hình và thực hiện điền vào chỗ trống; đối với phân loại và NER, dùng AutoModelForSequenceClassification / AutoModelForTokenClassification, sẽ tái sử dụng đầu MLM đã được huấn luyện trước
- Khuyến nghị chính thức cho NER là tốc độ học 3e-5; các tốc độ học thấp hơn như 5e-6 cho hiệu quả kém hơn đáng kể; khi nhập theo từ, hãy truyền trực tiếp từ gốc
Rủi ro
- Đây là bộ mã hóa cần tinh chỉnh, không thể trò chuyện hoặc tạo văn bản; báo cáo kỹ thuật chưa được công bố, dữ liệu huấn luyện không được mô tả, và tiếng Trung không nằm trong danh sách ngôn ngữ hỗ trợ
- Điểm trên hai tác vụ IndicQA và điền chỗ trống MASSIVE thấp hơn IndicBERT-v2; các điểm số là do nhóm phát triển tự kiểm tra (trung bình của ba hạt giống ngẫu nhiên), mục này chưa được chạy lại