Mô hình MoE đa phương thức của Mistral, tổng tham số 1T, kích hoạt 52B cho mỗi token, đã được ghi nhận vào ngày 30 tháng 10. Lần ghi nhận lại này là do vào ngày 2 tháng 11, một báo cáo kỹ thuật (assets/technical_report.pdf) đã được thêm vào kho lưu trữ, trong đó trình bày chi tiết về quá trình huấn luyện, các đánh đổi kiến trúc và chi tiết triển khai; trọng số mô hình không thay đổi.
Tăng điểm 503 · Lượt thích 1500 · Lượt tải 5500
Lý do
- So với phiên bản ngày 30 tháng 10, điểm đáng chú ý nhất trong báo cáo mới là "phạt tác nhân" (agent penalty): để tiết kiệm bộ nhớ VRAM, ML4 ban đầu sử dụng cơ chế chú ý trượt (sliding attention) với cửa sổ 512, chia sẻ KV giữa các lớp và YOCO, nén bộ nhớ đệm KV xuống còn 1/16 so với cơ chế chú ý đầy đủ, hầu như không ảnh hưởng đến độ bối rối (perplexity) và các bài kiểm tra kiến thức, nhưng sau khi tinh chỉnh có giám sát (SFT), các tác vụ dài hạn của tác nhân như SWE-bench và BrowseComp lại suy giảm rõ rệt. Do đó, trước giai đoạn tiền huấn luyện thứ hai, một cuộc "phẫu thuật mô hình" đã được thực hiện, chuyển lại gần như cơ chế chú ý đầy đủ (chỉ giữ lại YOCO), sau đó chuyển sang cơ chế chú ý thưa DeepSeek.
- Huấn luyện và hậu huấn luyện: Tiền huấn luyện trong 45 ngày trên 3,840 GPU GB200 gần Paris, tương đương khoảng 415 vạn giờ GPU; quá trình hậu huấn luyện được tự động hóa bởi các tác nhân để tạo ra môi trường thực thi, nhiệm vụ, giải pháp tham chiếu và bộ xác thực, bao phủ các lĩnh vực kỹ thuật phần mềm, an ninh mạng và công việc tri thức; ba mức độ cường độ suy luận thấp / trung bình / cao được tạo ra bằng cách chưng cất (distill) ba mô hình giáo viên có hình phạt độ dài khác nhau vào cùng một mô hình.
- Theo thông tin chính thức, Terminal-Bench đạt 4.0 41%, FrontierCode đạt 2.0 19.7%, AA Cyber Index đạt 50.9%; chỉ cần lượng tử hóa các chuyên gia định tuyến (routing experts) sang NVFP4, kích thước điểm kiểm tra (checkpoint) còn 606 GB, kết quả đánh giá tương đương với phiên bản FP8, và có thể triển khai trên 4 GPU GB300.
Cách sử dụng
- Báo cáo nằm trong mục Files của trang mô hình, tại đường dẫn assets/technical_report.pdf. Phương thức triển khai không thay đổi: sử dụng vLLM với image vllm/vllm-openai:mistral-large-4, sử dụng SGLang với image lmsysorg/sglang:mistral-large-4, và trong yêu cầu (request) sử dụng tham số reasoning_effort để chọn mức low / medium / high.
- Nếu thiếu bộ nhớ VRAM, hãy xem phiên bản NVFP4 mistralai/Mistral-Large-4-1T-A52B-NVFP4 (dành cho card đồ họa Blackwell), hoặc gọi trực tiếp API Mistral với mô hình mistral-large-4.
Rủi ro
- Các bảng so sánh trong báo cáo chủ yếu là kết quả tự kiểm tra của nhà phát triển hoặc đánh giá nội bộ. Trong cùng một bảng, chỉ số AA Cyber Index của DeepSeek-V4.1-Flash-1017 là 56.8%, cao hơn; điểm HLE-Diamond 17.3% và độ chính xác AA-Omniscience 26.0% của ML4 lại thấp hơn trong bảng.
- Với 1T tham số, cả phiên bản gốc FP8 và phiên bản NVFP4 đều yêu cầu nhiều GPU cấp trung tâm dữ liệu, không thể chạy trên thiết bị cá nhân.
- Giấy phép là Mistral Ecosystem Open-Weight License (phiên bản sửa đổi của MIT), nếu kinh doanh mô hình dưới dạng dịch vụ (MaaS) thì cần ký thêm giấy phép thương mại.