Titre original : Flide: Accelerating Decision Inference with Exact State Forking
Les « modèles de décision » de type Jev effectuent des jugements rapides de type QCM pour les agents (étant donné un état, ils produisent une probabilité pour chaque option), mais les moteurs conçus pour la génération, tels que vLLM et SGLang, recalculent soit le préfixe commun à plusieurs reprises, soit produisent des probabilités déformées lors du traitement de ces requêtes. Flide sépare l'arbre logique d'une requête de décision de son exécution physique, gère les embranchements via ForkAttention dans un flux de tokens plat, prend en charge à la fois l'attention standard et les couches récurrentes Gated DeltaNet, et garantit que le résultat de chaque branche est strictement identique à celui d'une passe avant isolée ; l'historique croissant de l'agent peut également reprendre le calcul à partir de points de contrôle sauvegardés précédemment. Les auteurs affirment une accélération jusqu'à 9.5 fois plus rapide que vLLM et SGLang, avec des résultats les plus proches de la référence float32.
Pourquoi c'est important De nombreux jugements rapides du type « lequel choisir, faut-il le faire » dans les agents sont plus rapides avec cet outil qu'avec un moteur d'inférence généraliste, sans déformation des probabilités de sortie
J'aime 32 · Étoiles du code 386
Raisons
- Paquet PyPI publié, prend en charge Qwen3.5, Gemma 4 et des dizaines de familles de modèles de décision open source, les auteurs continuent d'ajouter des modèles
- Exemple de classification d'e-mails dans le README : sur une H200, répondre à 8 questions pour chacun des 1 000 e-mails prend 28 secondes
- --session-cache-gb permet de conserver l'état des requêtes précédentes, l'agent ne calcule que les nouveaux éléments à l'étape suivante
Utilisation
- Code : https://github.com/OmniJev/Flide;uv pip install flide torchvision puis flide serve --model <nom du modèle>
- Les requêtes sont envoyées à /v1/systemone : state contient la situation actuelle, questions contient les QCM ou les questions vrai/faux
Risques
- Ne sert que les requêtes de décision (attribution de probabilités aux options), ce n'est pas un moteur de génération de texte généraliste
- Les facteurs d'accélération varient considérablement selon les modèles, allant d'environ 1.0 fois à 28.1 fois dans le tableau du README, tous mesurés par les auteurs sur H200
- Cet article n'a pas été exécuté
Ouvrir · Code · Page du papier