Qwen3.8-27B: внешняя черновая модель: ускорение предиктивного декодирования от NVIDIA

NVIDIA выпустила 11 17 внешнюю черновую модель, обученную с помощью Model Optimizer (с 4.21 млрд параметров, на базе Qwen3.5-4B, использующую тот же токенизатор и словарь, что и целевая модель). Во время обслуживания она за один проход предлагает набор токенов-кандидатов в соответствии с настройками сэмплирования целевой модели, а Qwen3.8-27B проверяет их методом отклоняющего сэмплирования; итоговое распределение выходных данных идентично тому, что генерируется целевой моделью самостоятельно, при этом снижается только задержка декодирования. Для обучения использовались 199,998 одноходовых промптов из набора Nemotron-Post-Training-Dataset-v2, ответы генерировались моделью Qwen3.8-27B, а вероятностные распределения первых 20 токенов на каждой позиции записывались в качестве обучающего сигнала.

Оригинальное название: nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft

NVIDIA выпустила 11 17 внешнюю черновую модель, обученную с помощью Model Optimizer (с 4.21 млрд параметров, на базе Qwen3.5-4B, использующую тот же токенизатор и словарь, что и целевая модель). Во время обслуживания она за один проход предлагает набор токенов-кандидатов в соответствии с настройками сэмплирования целевой модели, а Qwen3.8-27B проверяет их методом отклоняющего сэмплирования; итоговое распределение выходных данных идентично тому, что генерируется целевой моделью самостоятельно, при этом снижается только задержка декодирования. Для обучения использовались 199,998 одноходовых промптов из набора Nemotron-Post-Training-Dataset-v2, ответы генерировались моделью Qwen3.8-27B, а вероятностные распределения первых 20 токенов на каждой позиции записывались в качестве обучающего сигнала.

Почему это важно Распределение выходных данных полностью совпадает с исходной моделью, снижается только задержка декодирования; официально заявлено, что среднее количество принятых токенов за одну проверку значительно выше, чем у встроенной многопредиктивной головы модели

Рейтинг 63 · Лайки 67 · Загрузки 290

Обоснование

  • На качественном подмножестве SPEED-Bench с размером чернового блока 16 средняя длина принятой последовательности составляет 5.58, тогда как для встроенной головы MTP модели Qwen3.8-27B этот показатель равен 3.81; на подмножестве с длинным контекстом 32K значения составляют 5.11 против 3.86
  • В той же серии также представлены две более компактные черновые модели: Qwen3.5-0.8B (3.92 / 3.60) и Llama-3.2-1B (3.42 / 3.07), обученные на тех же данных и оцененные по той же методике
  • По категориям наибольшая длина принятой последовательности наблюдается в задачах RAG, мультиязычности и суммаризации (6.58, 6.55, 6.19), а наименьшая — в ролевых играх и генерации текста (4.41, 4.59)

Использование

  • При развертывании подключается как внешняя черновая модель к Qwen3.8-27B: в карточке модели vLLM указан как поддерживаемый движок, также отмечена возможность загрузки в SGLang и TRT-LLM; входные данные должны обрабатываться токенизатором Qwen3.8-27B
  • Черновые токены сэмплируются с температурой 1.0, top-k 20 и top-p 0.95, что соответствует настройкам обслуживания целевой модели; длина обучающей последовательности составляет 12,288 токенов

Риски

  • В карточке модели отсутствуют команды запуска и фактические показатели ускорения, приведены только длины принятых последовательностей; официальное решение ориентировано преимущественно на развертывание на LPU NVIDIA Groq 3, из архитектур GPU указан только Blackwell
  • Сама черновая модель имеет 4.21 млрд параметров и занимает видеопамять совместно с целевой моделью на 27 млрд параметров; дополнительные требования к видеопамяти в карточке не указаны
  • Лицензия — NVIDIA Open Model License (допускается коммерческое использование), а не Apache. Данная модель не запускалась автором

Открыть

Hugging Face Trending

Открыть последние новости ИИ