Flide: точный движок разветвлённого вывода для моделей принятия решений

Модели принятия решений типа Jev выполняют быстрые классификационные задачи для агентов (для заданного состояния выводят вероятности для каждого варианта), но такие движки, оптимизированные под генерацию, как vLLM и SGLang, при обработке подобных запросов либо многократно пересчитывают общий префикс, либо искажают выходные вероятности. Flide разделяет логическое дерево запроса на принятие решения и его физическое выполнение: ветвления обрабатываются с помощью ForkAttention в едином плоском потоке токенов, при этом поддерживаются как стандартное внимание, так и рекуррентные слои Gated DeltaNet; результаты каждой ветви гарантированно идентичны результатам отдельного прямого прохода. Кроме того, постоянно растущая история агента может продолжаться вычисления от ранее сохранённых контрольных точек. Авторы заявляют ускорение до 9.5 раз по сравнению с vLLM и SGLang, а также наибольшее соответствие эталонным результатам в формате float32.

Оригинальное название: Flide: Accelerating Decision Inference with Exact State Forking

Модели принятия решений типа Jev выполняют быстрые классификационные задачи для агентов (для заданного состояния выводят вероятности для каждого варианта), но такие движки, оптимизированные под генерацию, как vLLM и SGLang, при обработке подобных запросов либо многократно пересчитывают общий префикс, либо искажают выходные вероятности. Flide разделяет логическое дерево запроса на принятие решения и его физическое выполнение: ветвления обрабатываются с помощью ForkAttention в едином плоском потоке токенов, при этом поддерживаются как стандартное внимание, так и рекуррентные слои Gated DeltaNet; результаты каждой ветви гарантированно идентичны результатам отдельного прямого прохода. Кроме того, постоянно растущая история агента может продолжаться вычисления от ранее сохранённых контрольных точек. Авторы заявляют ускорение до 9.5 раз по сравнению с vLLM и SGLang, а также наибольшее соответствие эталонным результатам в формате float32.

Почему это важно В агентах много быстрых решений вида «что выбрать», «делать или нет»; Flide работает быстрее универсальных движков вывода при сохранении точности выходных вероятностей

Лайки 32 · Звёзды в коде 386

Причины

  • Выпущен пакет PyPI, поддерживающий Qwen3.5, Gemma 4 и десятки семейств открытых моделей принятия решений; авторы продолжают добавлять поддержку новых моделей
  • Пример классификации писем в README: на одном GPU H200 ответ на 8 вопросов для каждого из 1 тысяч писем занимает 28 секунд
  • Параметр --session-cache-gb позволяет сохранять состояние предыдущих запросов, чтобы агент на следующем шаге вычислял только новые данные

Использование

  • Код: после установки командой https://github.com/OmniJev/Flide;uv pip install flide torchvision запустите сервер командой flide serve --model <имя_модели>
  • Запросы отправляются на эндпоинт /v1/systemone: в поле state описывается текущая ситуация, а в поле questions — варианты выбора или вопросы с ответами «да/нет»

Риски

  • Поддерживаются только запросы на принятие решений (оценка вероятностей вариантов), это не универсальный движок генерации текста
  • Степень ускорения сильно различается для разных моделей: в таблице README указаны значения от примерно 1.0 до 28.1 раз, все измерения выполнены авторами на GPU H200
  • Данный пункт не был проверен запуском

Открыть · Код · Страница статьи на arXiv

Hugging Face Daily Papers

Открыть последние новости ИИ