Mô hình thứ hai trong dòng Spark-X2.6 của đội ngũ SparkLLM. Cấu trúc giống hệt Spark-X2.5-1.7B, nhưng được tăng cường khả năng lập trình, tác nhân, ngữ cảnh dài và đa ngôn ngữ nhờ cải tiến trong giai đoạn huấn luyện hậu kỳ. Phiên bản 4B của cùng dòng đã được ghi nhận vào ngày 24 tháng 10; phiên bản 1.7B này chỉ mới tải lên trọng số vào ngày 27 tháng 10, nên các kỳ trước đó chưa có ghi nhận.
Tăng 56 điểm · 58 lượt thích · 1307 lượt tải
Lý do
- Nhỏ hơn phiên bản 4B. Tác giả tuyên bố rằng trên RTX 4090, tốc độ giải mã với ngữ cảnh ngắn vượt trội so với Qwen3.5-2B, MiniCPM-2B và LFM2.5-2.6B; khi kết hợp với nhánh llama.cpp được tác giả tối ưu hóa, nó dẫn đầu ở mọi độ dài thử nghiệm (chỉ có biểu đồ).
- Có ba mức ngân sách suy nghĩ để lựa chọn: none / low / high. Ngoài ra, có một demo WebGPU do cộng đồng phát triển (mohdmahmodi/Spark-X2.6-1.7B-WebGPU), sử dụng trọng số INT4 chính thức để chạy cục bộ trong trình duyệt mà không cần cài đặt.
- Các phương thức triển khai đầy đủ: có hướng dẫn cho Transformers, SGLang, vLLM (cần cài Spark-plugin), MLX, llama.cpp, Ollama, LM Studio, và cũng hỗ trợ NPU Ascend.
Cách dùng
- ollama run SparkLLM/Spark-X2.6-1.7B (yêu cầu Ollama phiên bản 0.34.1 trở lên); cũng có thể tìm kiếm Spark-X2.6 trong LM Studio phiên bản 0.4.0 trở lên; llama.cpp yêu cầu phiên bản b10828 trở lên.
- Transformers: cài đặt 4.57.1, bật trust_remote_code=True, sử dụng công tắc enable_thinking trong apply_chat_template để bật/tắt chế độ suy nghĩ; khuyến nghị temperature 1.0, top_p 0.95.
- SGLang: thêm --tool-call-parser spark25 --reasoning-parser qwen3; để tắt chế độ suy nghĩ, hãy đặt enable_thinking=false trong chat_template_kwargs của yêu cầu.
Rủi ro
- Kết quả chuẩn và so sánh tốc độ chỉ có dưới dạng hình ảnh, phần mô tả của thẻ mô hình không có điểm số cụ thể nào, nên chuyên mục này không thể xác minh tuyên bố "dẫn đầu trong cùng kích thước".
- Ví dụ SGLang đặt độ dài ngữ cảnh lên tới 1048576, nếu bộ nhớ đồ họa không đủ thì cần giảm --context-length; tác giả không cung cấp mức tiêu thụ bộ nhớ cụ thể.
- Demo WebGPU là sản phẩm của cộng đồng, chỉ được kiểm thử trong môi trường Windows + NVIDIA của chính người đóng góp.