SparkLLM 팀의 Spark-X2.6 시리즈 두 번째 모델입니다. 구조는 Spark-X2.5-1.7B와 동일하지만, 개선된 후처리 학습을 통해 프로그래밍, 에이전트, 긴 컨텍스트 및 다국어 능력이 강화되었습니다. 10월 24일에는 동일 시리즈의 4B 버전이 수록되었으며, 이 1.7B 버전은 10월 27일에 가중치가 업로드되어 이전 호에서는 수록되지 않았습니다.
상승 점수 56 · 좋아요 58 · 다운로드 수 1307
이유
- 4B 버전보다 더 작습니다. 저자는 RTX 4090에서 짧은 컨텍스트의 디코딩 속도가 Qwen3.5-2B, MiniCPM-2B 및 LFM2.5-2.6B보다 빠르며, 저자가 직접 최적화한 llama.cpp 분기를 사용하면 모든 테스트 길이에서 우위를 점한다고 주장합니다(차트만 제공됨).
- 사고 예산(thinking budget)은 none / low / high 세 가지 옵션 중 선택할 수 있습니다. 또한 커뮤니티에서 제작한 WebGPU 데모(mohdmahmodi/Spark-X2.6-1.7B-WebGPU)가 있으며, 공식 INT4 가중치를 사용하여 브라우저에서 로컬로 실행할 수 있어 설치가 필요 없습니다.
- 배포 경로가 다양합니다: Transformers, SGLang, vLLM(Spark-plugin 설치 필요), MLX, llama.cpp, Ollama, LM Studio 모두 지원되며, Ascend NPU도 지원합니다.
사용법
- ollama run SparkLLM/Spark-X2.6-1.7B (Ollama 0.34.1 이상 필요); LM Studio 0.4.0 이상 버전에서 Spark-X2.6을 검색할 수도 있습니다; llama.cpp는 b10828 이상이 필요합니다.
- Transformers: 4.57.1을 설치하고, trust_remote_code=True를 활성화하며, apply_chat_template에서 enable_thinking 스위치를 사용하여 사고 기능을 켜거나 끕니다. temperature 1.0, top_p 0.95을 권장합니다.
- SGLang: --tool-call-parser spark25 --reasoning-parser qwen3를 추가하십시오. 사고 기능을 끄려면 요청의 chat_template_kwargs에서 enable_thinking=false로 설정하십시오.
리스크
- 벤치마크 점수와 속도 비교는 이미지로만 제공되며, 모델 카드 본문에는 구체적인 점수가 없어 본 코너에서는 '동일 크기 대비 우위'라는 주장을 검증할 수 없습니다.
- SGLang 예제에서는 컨텍스트를 1048576으로 설정했습니다. 메모리가 부족하면 --context-length를 줄여야 하며, 구체적인 메모리 사용량은 저자가 제공하지 않았습니다.
- WebGPU 데모는 커뮤니티 작품으로, 기여자 본인의 Windows + NVIDIA 환경에서만 테스트되었습니다.