Оригинальное название: tencent/Qwen3.8-27B-DSpine-b16
Пятислойная модель черновиков DSpine, обученная Tencent для Qwen3.8-27B и предназначенная для спекулятивного декодирования: она параллельно генерирует токены-черновики, при этом каждый слой передает предсказанные признаки предыдущих позиций соседним позициям, обеспечивая причинно-следственные зависимости за счет глубины сети. Размер блока составляет 16, скользящее окно — 8,192 токенов. Официальные тесты на платформе SGLang показали более высокую среднюю длину принятия для различных задач по сравнению с DFlash2; в агентных симуляциях WorkBuddy (код / веб / офис), SWE-bench Pro и τ²-bench сквозная пропускная способность примерно в 2.7–3.8 раз выше, чем при обычном авторегрессионном декодировании.
Почему это важно Позволяет повысить пропускную способность вывода без замены основной модели; подходит для развертывания Qwen3.8-27B в SGLang для выполнения агентных задач и задач программирования
Рост рейтинга на 146 · Лайков: 148 · Загрузок: 1464
Причины
- Протестированы длина принятия и пропускная способность специально для многоходовых агентных диалогов, а не только для задач по математике и программированию
- Приложены научная статья и код на GitHub, лицензия Apache-2.0
Использование
- После установки Tencent/DSpine добавьте в команду sglang serve параметры --speculative-algorithm DSPINE и укажите путь к данной модели через --speculative-draft-model-path; остальные параметры задайте согласно карточке модели
Риски
- Работает только с основной моделью Qwen3.8-27B, зависит от SGLang и специфической конфигурации бэкенда, что создает высокий порог входа для развертывания на персональных видеокартах
- Данные об ускорении получены официально при определенных уровнях параллелизма и конфигурациях
- Данный пункт не был проверен на практике; фактические результаты следует сверять с карточкой модели