DNeo: параллельная черновая модель, повторно использующая отклоненные черновики

Спекулятивное диффузионное декодирование использует небольшую параллельную черновую модель для генерации блока кандидатов на токены за один прямой проход, который затем параллельно проверяется большой моделью. Авторы указывают на три недостатка в том, как параллельные черновые модели, такие как DFlash и DSpark, считывают признаки целевой модели: проекция кодирования разрушает пространство признаков целевой модели (авторы называют это смешением остатков), модель не помнит ранее отклоненные предложения, а равномерный выбор признаков из всех слоев приводит к потере важных скрытых состояний. DNeo использует смешанное внимание к признакам MoFA с рабочей памятью для кодирования отклоненных предложений в память, а также добавляет двухотводную причинную свертку, перекрестное внимание только к префиксу и неравномерный выбор целевых слоев; авторы утверждают, что скорость генерации в 1.3 раз выше, чем у лучшей на данный момент модели DFlash-2, при неизменном размере черновой модели и качестве генерации.

Оригинальное название: DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding

Спекулятивное диффузионное декодирование использует небольшую параллельную черновую модель для генерации блока кандидатов на токены за один прямой проход, который затем параллельно проверяется большой моделью. Авторы указывают на три недостатка в том, как параллельные черновые модели, такие как DFlash и DSpark, считывают признаки целевой модели: проекция кодирования разрушает пространство признаков целевой модели (авторы называют это смешением остатков), модель не помнит ранее отклоненные предложения, а равномерный выбор признаков из всех слоев приводит к потере важных скрытых состояний. DNeo использует смешанное внимание к признакам MoFA с рабочей памятью для кодирования отклоненных предложений в память, а также добавляет двухотводную причинную свертку, перекрестное внимание только к префиксу и неравномерный выбор целевых слоев; авторы утверждают, что скорость генерации в 1.3 раз выше, чем у лучшей на данный момент модели DFlash-2, при неизменном размере черновой модели и качестве генерации.

Почему это важно Ускорение спекулятивного декодирования зависит от доли принятых черновиков; авторы утверждают, что скорость генерации превышает показатели лучшей ранее модели DFlash-2, при неизменном размере черновика и качестве вывода

Лайки 3 · Звёзды на GitHub 4

Причины

  • Опубликованы черновые веса J-sandler/Qwen3-4B-DNeo для Qwen3-4B (режим размышлений): параллельный остов из 5 слоёв, генерирующий 15 токенов за один прямой проход, с признаками, извлечёнными из 7 выбранных слоёв целевой модели
  • Автор тестировал на одной видеокарте H100 с 80 ГБ памяти и размером пакета 1: в SGLang среднее число принятых токенов за прямой проход составляет 4.51, скорость декодирования — 701 токенов/с, что в 2.96 раз быстрее покомпонентной авторегрессии; в Transformers ускорение составляет 3.37 раз
  • Черновые веса распространяются под лицензией Apache-2.0, код инференса — под MIT

Использование

  • Код: https://github.com/J-sandler/DNeo;权重:https://huggingface.co/J-sandler/Qwen3-4B-DNeo,必须和 используется в паре с Qwen/Qwen3-4B, черновая модель не может генерировать текст самостоятельно
  • Эта версия требует среды выполнения shared-router версии 0.1.0rc6 или выше: скачайте архив dneo-inference-source.tar.gz из репозитория с весами и следуйте инструкциям в INSTALL.md для установки версии для Transformers или нативной версии для SGLang; старый загрузчик five-router не поддерживает эти веса

Риски

  • На данный момент черновые веса доступны только для одной целевой модели — Qwen3-4B
  • Условия тестирования скорости: максимальная длина промпта 256 токенов, фиксированная длина вывода 512 токенов, ограничение контекста 1024; автор отмечает, что результаты зависят от нагрузки. Данные для длинных контекстов и больших пакетов отсутствуют. Данный пункт не проверялся

Открыть · Код · Страница статьи

Hugging Face Daily Papers

Открыть последние новости ИИ