Kho lưu trữ không phụ thuộc vào Flax, Equinox hay PyTorch, các tham số chỉ là từ điển thông thường, toàn bộ mô hình được viết trong deepseek_v3.py: MLA chỉ lưu trữ một vector tiềm ẩn nhỏ cho mỗi token, DeepSeekMoE gồm 1 chuyên gia chia sẻ cộng với 16 chuyên gia định tuyến, cân bằng tải dựa trên độ lệch của chuyên gia, cùng với mô-đun dự đoán đa token. Tác giả đã huấn luyện một mô hình có 3620 nghìn tham số (kích hoạt 1360 nghìn tham số mỗi token) bằng các tiểu thuyết trinh thám thuộc phạm vi công cộng, chạy trong khoảng 2.6 giờ trên MacBook Air M5; khi tắt và bật độ lệch cân bằng tải, tổn thất xác thực gần như giống nhau, nhưng tải của các chuyên gia rõ ràng đồng đều hơn, phù hợp với các tuyên bố trong bài báo.
Tại sao quan trọng Các khái niệm trong bài báo như attention tiềm ẩn, mixture-of-experts, cân bằng tải không cần auxiliary loss và dự đoán đa token đều tương ứng với một hàm, có thể đọc từ trên xuống dưới để hiểu cấu trúc của V3.
Số sao 102
Lý do
- Kho lưu trữ được tạo vào ngày 13 tháng 11, giấy phép MIT; đã đọc README, kèm theo bài viết dài giải thích từng phần và hash dữ liệu có thể tái tạo
- Tác giả nói rõ đây là minh họa kiến trúc, không phải mô hình ngôn ngữ có thể sử dụng, và liệt kê các phần chưa được triển khai (huấn luyện FP8, DualPipe, YaRN, v.v.)
Cách sử dụng
- Cần máy Mac Apple Silicon, Python 3.12 và uv: sau khi clone, cài đặt các phụ thuộc phiên bản cố định theo README, chạy prepare_data.py để chuẩn bị dữ liệu, train.py để huấn luyện; nếu không có Mac, có thể chạy trên CPU theo mục "Running on CPU"
Rủi ro
- Các checkpoint được phát hành là tệp pickle Python, có thể thực thi mã khi tải, tác giả cảnh báo chỉ nên tải các tệp từ nguồn đáng tin cậy
- Các con số kết quả huấn luyện đến từ một lần chạy của tác giả