Aurora2: Một mô hình MoE siêu nhỏ được huấn luyện trước từ đầu trên một card đồ họa

Mô hình nền tảng phục vụ nghiên cứu do AuroraAI-Research 11 tải lên vào ngày 18: khoảng 4 tỷ tham số tổng, kích hoạt khoảng 1900 nghìn tham số mỗi token, 12 lớp, chiều ẩn 192, mỗi lớp có 32 chuyên gia định tuyến (top-1) cộng với 1 chuyên gia chia sẻ, ngữ cảnh 2,048 token, bộ tokenizer BPE cấp độ byte với từ điển tự huấn luyện gồm 16,384 từ (các chữ số được tách riêng từng ký tự). Huấn luyện xong khoảng 1000 tỷ token trong khoảng 36 giờ trên một card RTX Pro 6000, dữ liệu chủ yếu là văn bản web từ ClimbMix, ngoài ra còn có FineMath, Wikipedia, suy luận toán học và dữ liệu hội thoại smoltalk. Chỉ thực hiện huấn luyện trước, không có tinh chỉnh theo chỉ dẫn hay RLHF.

Tiêu đề gốc: AuroraAI-Research/Aurora2-400M-A20M

Mô hình nền tảng phục vụ nghiên cứu do AuroraAI-Research 11 tải lên vào ngày 18: khoảng 4 tỷ tham số tổng, kích hoạt khoảng 1900 nghìn tham số mỗi token, 12 lớp, chiều ẩn 192, mỗi lớp có 32 chuyên gia định tuyến (top-1) cộng với 1 chuyên gia chia sẻ, ngữ cảnh 2,048 token, bộ tokenizer BPE cấp độ byte với từ điển tự huấn luyện gồm 16,384 từ (các chữ số được tách riêng từng ký tự). Huấn luyện xong khoảng 1000 tỷ token trong khoảng 36 giờ trên một card RTX Pro 6000, dữ liệu chủ yếu là văn bản web từ ClimbMix, ngoài ra còn có FineMath, Wikipedia, suy luận toán học và dữ liệu hội thoại smoltalk. Chỉ thực hiện huấn luyện trước, không có tinh chỉnh theo chỉ dẫn hay RLHF.

Tại sao quan trọng Công khai đầy đủ chi tiết kiến trúc, tỷ lệ dữ liệu và thời gian huấn luyện, giúp các nhà nghiên cứu cá nhân có thể tái tạo các thí nghiệm MoE quy mô nhỏ theo hướng dẫn, giấy phép Apache

Điểm tăng 31 · Lượt thích 42 · Lượt tải 643

Lý do

  • Thẻ mô hình ghi đầy đủ các kỹ thuật kiến trúc: nhúng n-gram băm, kết nối tắt cho nhúng, phần dư giá trị, cổng kiểm soát chú ý cho mỗi đầu, thiên lệch định tuyến có thể học, cùng với các hệ số cân bằng tải và router z-loss
  • Định tuyến top-1 không làm mất token, sử dụng bộ tối ưu Muon; phù hợp để nghiên cứu các mô hình nhỏ, định tuyến chuyên gia thưa và hiệu quả huấn luyện
  • Kho lưu trữ cung cấp trọng số ở ba độ chính xác: FP32, BF16, FP16

Cách sử dụng

  • Tải AuroraAI-Research/Aurora2-400M-A20M bằng transformers (bộ tokenizer nằm ở thư mục gốc của kho, sẽ tự động thêm BOS ở đầu), sử dụng generate để tạo văn bản tiếp theo, ví dụ trong thẻ mô hình có nhiệt độ 0.5
  • Trọng số BF16 / FP16 nằm trong các thư mục con bf16/ và fp16/; triển khai suy luận sử dụng kích hoạt BF16, khuyến nghị dùng card đồ họa CUDA hỗ trợ BF16
  • Đối với suy luận hàng loạt, hãy sử dụng batch size 1 hoặc các batch không có padding; không hỗ trợ tìm kiếm theo chùm (beam search)

Rủi ro

  • Đây là mô hình nền tảng chưa được tinh chỉnh theo chỉ dẫn, không thể dùng làm trợ lý trò chuyện; chỉ kích hoạt khoảng hai mươi triệu tham số mỗi token, nên kiến thức, khả năng suy luận và tính mạch lạc dài hạn đều rất hạn chế
  • Chủ yếu là dữ liệu tiếng Anh, ngữ cảnh chỉ có 2,048 token; thẻ mô hình không cung cấp điểm chuẩn, cần kiểm tra giấy phép của từng bộ dữ liệu huấn luyện trước khi sử dụng cho các tác vụ hạ nguồn. Mục này chưa được chạy

Mở

Hugging Face Trending

Xem tin AI mới nhất