Mô hình có trọng số mã nguồn mở lớn nhất từ trước đến nay của Mistral: Mô hình MoE đa phương thức gốc với khoảng 1T tham số tổng, kích hoạt khoảng 52B tham số mỗi token (không bao gồm lớp nhúng là 49B), đầu vào là văn bản và hình ảnh, đầu ra là văn bản, ngữ cảnh 100 nghìn token; các tác vụ chỉ dẫn, suy luận, lập trình và tác nhân được tích hợp trong cùng một bộ trọng số, cường độ suy luận được chia thành ba mức low / medium / high để chuyển đổi theo từng yêu cầu.
Điểm tăng 300 · Lượt thích 1221 · Lượt tải 278
Lý do
- Theo thông tin chính thức, Chỉ số tác nhân lập trình của Artificial Analysis đạt 48%, tương đương với GLM-5.3 (dẫn đầu mã nguồn mở) nhưng sử dụng ít hơn 47% token trung bình cho mỗi tác vụ; Chỉ số thông minh v5 của Artificial Analysis đạt 26, cao nhất trong số các mô hình mã nguồn mở phương Tây, nhưng chính thức cũng thừa nhận rằng các mô hình mã nguồn mở dẫn đầu của Trung Quốc có tổng điểm cao hơn.
- 128 chuyên gia định tuyến kích hoạt 4 chuyên gia mỗi token cùng với 1 chuyên gia chia sẻ, được huấn luyện từ đầu trên 3,800 GPU Grace Blackwell; theo thông tin chính thức, mô hình thể hiện nổi bật trong an ninh mạng, tài chính, pháp lý và định vị thị giác, hỗ trợ gọi hàm gốc và đầu ra JSON Schema nghiêm ngặt, hỗ trợ 160 ngôn ngữ.
- Ngay từ khi ra mắt đã có các bản dựng vLLM, SGLang, Transformers, llama.cpp GGUF, cùng với hướng dẫn tinh chỉnh Axolotl, Unsloth, TRL, và phiên bản NVFP4 dành cho Blackwell; được công bố vào ngày 29 tháng 10 cùng với bài đăng trên blog Hugging Face, trước đó chưa được đề cập trong các số báo trước. Điểm tăng 300 chỉ phản ánh mức độ quan tâm.
Cách sử dụng
- vLLM (được khuyến nghị chính thức): docker pull vllm/vllm-openai:mistral-large-4, khởi chạy với --tensor-parallel-size 8 --tool-call-parser mistral --reasoning-parser mistral --enable-auto-tool-choice; thêm --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}' để bật giải mã suy đoán DSpark tích hợp, theo thông tin chính thức có thể tăng thông lượng lên tối đa 1.9 lần.
- SGLang: sử dụng bản dựng lmsysorg/sglang:mistral-large-4, chạy sglang serve --tp-size 8 --speculative-algorithm DSPARK; thống nhất tham số lấy mẫu với temperature 1.0, top_p 0.95, đối với các tác vụ phức tạp và tác nhân đặt reasoning_effort="high" (mặc định), tác vụ hàng ngày đặt medium, phản hồi nhanh đặt low.
- Cũng có thể gọi trực tiếp mistral-large-4 qua API Mistral, hoặc kết nối vLLM cục bộ trong trợ lý lập trình chính thức Mistral Vibe.
Rủi ro
- Ví dụ chính thức triển khai với song song tensor trên 8 card, không thể chạy trên thiết bị cá nhân; phiên bản NVFP4 chỉ dành cho card đồ họa Blackwell.
- Giấy phép là Mistral Ecosystem Open-Weight License (MIT đã sửa đổi): được phép sử dụng thương mại, nhưng nếu kinh doanh dịch vụ mô hình (MaaS) thì cần ký giấy phép thương mại riêng.
- Thẻ mô hình chỉ cung cấp hai chỉ số tổng hợp, các so sánh còn lại nằm trong hình ảnh và bài đăng trên blog, đều là kết quả bảng xếp hạng do chính thức trích dẫn.