DSpine: параллельная модель черновиков для ускорения, разработанная Tencent для Qwen3.8-27B

Пятислойная модель черновиков DSpine, обученная Tencent для Qwen3.8-27B и предназначенная для спекулятивного декодирования: она параллельно генерирует токены-черновики, при этом каждый слой передает предсказанные признаки предыдущих позиций соседним позициям, обеспечивая причинно-следственные зависимости за счет глубины сети. Размер блока составляет 16, скользящее окно — 8,192 токенов. Официальные тесты на платформе SGLang показали более высокую среднюю длину принятия для различных задач по сравнению с DFlash2; в агентных симуляциях WorkBuddy (код / веб / офис), SWE-bench Pro и τ²-bench сквозная пропускная способность примерно в 2.7–3.8 раз выше, чем при обычном авторегрессионном декодировании.

Оригинальное название: tencent/Qwen3.8-27B-DSpine-b16

Пятислойная модель черновиков DSpine, обученная Tencent для Qwen3.8-27B и предназначенная для спекулятивного декодирования: она параллельно генерирует токены-черновики, при этом каждый слой передает предсказанные признаки предыдущих позиций соседним позициям, обеспечивая причинно-следственные зависимости за счет глубины сети. Размер блока составляет 16, скользящее окно — 8,192 токенов. Официальные тесты на платформе SGLang показали более высокую среднюю длину принятия для различных задач по сравнению с DFlash2; в агентных симуляциях WorkBuddy (код / веб / офис), SWE-bench Pro и τ²-bench сквозная пропускная способность примерно в 2.7–3.8 раз выше, чем при обычном авторегрессионном декодировании.

Почему это важно Позволяет повысить пропускную способность вывода без замены основной модели; подходит для развертывания Qwen3.8-27B в SGLang для выполнения агентных задач и задач программирования

Рост рейтинга на 146 · Лайков: 148 · Загрузок: 1464

Причины

  • Протестированы длина принятия и пропускная способность специально для многоходовых агентных диалогов, а не только для задач по математике и программированию
  • Приложены научная статья и код на GitHub, лицензия Apache-2.0

Использование

  • После установки Tencent/DSpine добавьте в команду sglang serve параметры --speculative-algorithm DSPINE и укажите путь к данной модели через --speculative-draft-model-path; остальные параметры задайте согласно карточке модели

Риски

  • Работает только с основной моделью Qwen3.8-27B, зависит от SGLang и специфической конфигурации бэкенда, что создает высокий порог входа для развертывания на персональных видеокартах
  • Данные об ускорении получены официально при определенных уровнях параллелизма и конфигурациях
  • Данный пункт не был проверен на практике; фактические результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ