SparkLLM 团队 Spark-X2.6 系列的第二个模型。结构和 Spark-X2.5-1.7B 一样,靠改进后训练加强了编程、智能体、长上下文和多语言能力。10 月 24 日收录的是同系列的 4B 版;这个 1.7B 版 10 月 27 日才上传权重,此前各期没有收录。
上升分 56 · 点赞 58 · 下载量 1307
理由
- 比 4B 版更小。作者称在 RTX 4090 上,短上下文的解码速度领先 Qwen3.5-2B、MiniCPM-2B 和 LFM2.5-2.6B,配合作者自己优化的 llama.cpp 分支,在所有测试长度上都领先(只有图表)。
- 思考预算有 none / low / high 三档可选。另有社区做的 WebGPU 演示(mohdmahmodi/Spark-X2.6-1.7B-WebGPU),用官方 INT4 权重在浏览器里本地跑,不用安装。
- 部署途径齐全:Transformers、SGLang、vLLM(需装 Spark-plugin)、MLX、llama.cpp、Ollama、LM Studio 都有说明,也支持昇腾 NPU。
用法
- ollama run SparkLLM/Spark-X2.6-1.7B(需 Ollama 0.34.1 以上);也可以在 LM Studio 0.4.0 以上版本里搜 Spark-X2.6;llama.cpp 需要 b10828 以上。
- Transformers:装 4.57.1,开 trust_remote_code=True,在 apply_chat_template 里用 enable_thinking 开关思考;推荐 temperature 1.0、top_p 0.95。
- SGLang:加 --tool-call-parser spark25 --reasoning-parser qwen3;要关思考,就在请求的 chat_template_kwargs 里设 enable_thinking=false。
风险
- 基准成绩和速度对比都只有图片,模型卡正文没有一个具体分数,本栏目没法核对“同尺寸领先”的说法。
- SGLang 示例把上下文开到 1048576,显存不够要调小 --context-length;具体内存占用作者没给。
- WebGPU 演示是社区作品,只在贡献者自己的 Windows + NVIDIA 环境测过。