Tiêu đề gốc: OVHaiLLM/Olala-v1.0-mini-7A1B
Mô hình hậu huấn luyện của OVHai LLM thuộc OVHcloud, được tải lên vào ngày 30 tháng 10 và cập nhật vào ngày 19 tháng 11. Tổng số tham số là 6.8B, với khoảng 1B tham số được kích hoạt cho mỗi token: trong 36 lớp, có 29 lớp Mamba-3 và 7 lớp attention (chỉ 7 lớp này giữ bộ nhớ đệm KV), mỗi lớp kết hợp với MoE (chọn 6 trong số 256 chuyên gia định tuyến, cộng thêm 1 chuyên gia chia sẻ), độ dài ngữ cảnh 32K (phiên bản 128K sắp ra mắt). Được huấn luyện trên ba siêu máy tính: JUPITER tại Đức, Jean Zay tại Pháp và MeluXina tại Luxembourg: giai đoạn tiền huấn luyện sử dụng 12.8T token (tiếng Anh cùng 36 ngôn ngữ khác, phần lớn là các ngôn ngữ châu Âu, cũng có tiếng Trung, Nhật, Hàn và Ả Rập), sau đó thực hiện tinh chỉnh có giám sát và bốn giai đoạn học tăng cường (chỉ dẫn và toán học, mã hóa, hành vi trợ lý, gọi công cụ và tìm kiếm với tối đa 75 vòng). Cường độ suy luận được chia thành bốn mức: disabled / low / medium / high. Cùng dòng sản phẩm còn có phiên bản cơ sở, phiên bản SFT và hai phiên bản chuyên dụng cho tóm tắt và dịch thuật, tất cả đều theo giấy phép Apache-2.0.
Tại sao quan trọng Được huấn luyện trên ba siêu máy tính tại châu Âu, giấy phép Apache, có thể chạy trên laptop; chính thức công khai toàn bộ so sánh benchmark, kiểm thử an toàn và lượng khí thải carbon từ quá trình huấn luyện
Điểm tăng 40 · Lượt thích 40 · Lượt tải 181
Lý do
- Chính thức tự chạy 19 mô hình trên cùng một cụm máy chủ và cùng mã đánh giá: điểm trung bình 68.0 trên 12 hạng mục, cao hơn phiên bản SFT của chính họ 15.2 điểm; IFBench 57.7, HumanEval+ 88.3, AIME 2025 61.3, GPQA Diamond 50.5, BFCL V3 59.6
- Trong cùng bảng, mô hình nhỏ hơn LFM3-1.7B có điểm cao hơn ở nhiều hạng mục (IFBench 70.0, AIME 2025 79.3), Qwen3.5-4B có điểm GPQA Diamond là 75.8; chính thức cho biết mô hình này mạnh về tuân thủ chỉ dẫn nhưng yếu về toán học thi đấu
- Kiểm thử an toàn với 5,701 câu hỏi tấn công: sau học tăng cường, tỷ lệ tấn công thành công giảm từ 12.5% xuống 6.3%, nhưng tỷ lệ từ chối sai các yêu cầu bình thường tăng từ 7.0% lên 10.7%; chính thức tuyên bố toàn bộ quá trình huấn luyện tiêu thụ khoảng 1.16 GWh điện và thải ra khoảng 40 tấn CO₂e
Cách sử dụng
- Không muốn triển khai: OVHcloud AI Endpoints (tương thích OpenAI, lưu trữ tại châu Âu) hoặc Hugging Face Inference Providers, nhập model là OVHaiLLM/Olala-v1.0-mini-7A1B:ovhcloud; ngoài ra còn có hạn mức khởi đầu miễn phí từ Blade (Shadow)
- Tự triển khai: nhánh vLLM chính thức hoặc hình ảnh Docker ovhaillm/olala-vllm (yêu cầu NVIDIA từ 24 GB trở lên, hình ảnh yêu cầu driver từ 580 trở lên), khi khởi động bắt buộc thêm --mamba-ssm-cache-dtype float32, nếu không quá trình tạo văn bản dài sẽ bị lặp vô hạn; thêm --reasoning-parser olala --tool-call-parser olala --enable-auto-tool-choice, lần khởi động đầu tiên mất khoảng 8 phút để biên dịch
- Chạy cục bộ: Máy dùng chip Apple M2 trở lên với 16 GB RAM dùng phiên bản MLX (5.4 GB), máy dùng M1, máy không có card đồ họa rời hoặc chỉ có một card NVIDIA dùng phiên bản GGUF (6–14 GB), đều phải dùng nhánh chính thức; tham số lấy mẫu temperature 0.8, top_p 0.9, top_k 40; để tinh chỉnh, dùng hình ảnh Docker ovhaillm/olala-ai-training (một card H100, huấn luyện LoRA sau đó hợp nhất)
Rủi ro
- Ollama, LM Studio và các phiên bản chính thức của llama.cpp, vLLM, mlx-lm hiện tại đều không thể tải mô hình, chỉ có thể sử dụng các nhánh của OVHai hoặc dịch vụ lưu trữ
- Chỉ xử lý văn bản; số tham số kích hoạt khoảng 1B, kiến thức thực tế hạn chế, chính thức khuyến nghị cung cấp tài liệu hoặc công cụ khi liên quan đến sự kiện, số liệu, pháp lý, y tế, tài chính, không nên để mô hình trả lời dựa vào bộ nhớ
- Tất cả điểm số đều do chính thức tự chạy; sau học tăng cường, tỷ lệ chuỗi suy luận quá dài bị cắt ngắn tăng từ 11.8% lên 15.0%. Mục này chưa được chạy thử