Вторая модель серии Spark-X2.6 от команды SparkLLM. Архитектура идентична Spark-X2.5-1.7B, но улучшенное постобучение усилило возможности в программировании, агентных задачах, работе с длинным контекстом и многоязычности. 10 24 была включена версия 4B из той же серии; веса этой версии 1.7B были загружены только 10 27, поэтому в предыдущих выпусках она не рассматривалась.
Рост рейтинга на 56 · Лайки: 58 · Загрузки: 1307
Причины
- Модель меньше, чем версия 4B. По словам авторов, на RTX 4090 скорость декодирования при коротком контексте выше, чем у Qwen3.5-2B, MiniCPM-2B и LFM2.5-2.6B, а в сочетании с собственной оптимизированной веткой llama.cpp она лидирует на всех тестовых длинах (представлено только в виде графиков).
- Доступны три уровня бюджета размышлений: none / low / high. Также существует веб-демо на WebGPU, созданное сообществом (mohdmahmodi/Spark-X2.6-1.7B-WebGPU), которое позволяет локально запускать модель в браузере с использованием официальных весов INT4 без необходимости установки.
- Полный набор вариантов развертывания: есть инструкции для Transformers, SGLang, vLLM (требуется плагин Spark-plugin), MLX, llama.cpp, Ollama и LM Studio, а также поддерживается NPU Ascend.
Использование
- ollama run SparkLLM/Spark-X2.6-1.7B (требуется Ollama версии 0.34.1 и выше); также можно найти Spark-X2.6 в LM Studio версии 0.4.0 и выше; для llama.cpp требуется версия b10828 и выше.
- Transformers: установите 4.57.1, включите trust_remote_code=True, используйте переключатель enable_thinking в apply_chat_template для управления режимом размышлений; рекомендуемые параметры: temperature 1.0, top_p 0.95.
- SGLang: добавьте параметры --tool-call-parser spark25 --reasoning-parser qwen3; чтобы отключить размышления, установите enable_thinking=false в параметрах chat_template_kwargs запроса.
Риски
- Результаты бенчмарков и сравнения скорости представлены только в виде изображений; в основном тексте карточки модели нет конкретных числовых показателей, поэтому данный раздел не может проверить утверждения о «превосходстве среди моделей того же размера».
- В примере для SGLang контекстное окно установлено на 1048576; если видеопамяти недостаточно, необходимо уменьшить значение --context-length; авторы не указали точное потребление памяти.
- Демо на WebGPU является проектом сообщества и было протестировано только в среде Windows + NVIDIA у самого автора.