Passerelle IA open source écrite en Rust : un seul binaire incluant une console d'administration, placée entre les applications et les différents services de modèles, unifiant l'API, le routage, les quotas, la mise en cache et les garde-fous de sécurité.
Nombre d'étoiles 376 (+41 / 24h)
Raisons
- Le backend peut se connecter à OpenAI, Azure, Anthropic, Bedrock, Vertex, Gemini, Mistral, DeepSeek, xAI et à tout service compatible OpenAI / Anthropic (comme vLLM), avec conversion automatique entre les protocoles clients
- Chaînes de repli déterminées par requête, répartition pondérée, routage à coût minimal / latence minimale, tentatives multiples, hedging et coupe-circuit, avec journalisation des résultats dans les logs de requêtes
- Budgets et limitations en dollars ou en tokens à quatre niveaux : organisation, équipe, projet et clé ; les garde-fous couvrent les données personnelles identifiables (PII), les clés, le schéma JSON, les autorisations d'outils et la détection des injections de prompts
- L'auteur affirme que sur une même machine 4 vCPU, à 5000 requêtes par seconde, la surcharge médiane est de 0.53 ms, tandis que Bifrost est à 19.7 ms et que LiteLLM renvoie des erreurs pour toutes les requêtes
Utilisation
- docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion, au premier démarrage, l'adresse de la console et un jeton d'administrateur à usage unique sont affichés
- Dans http://localhost:8081/ui/, ajoutez les services de modèles et les modèles, créez une clé API, puis pointez l'URL de base de n'importe quel SDK OpenAI vers http://localhost:8080/v1
Risques
- Les chiffres de performance proviennent des benchmarks de l'auteur, avec les logs de requêtes et la mise en cache désactivés dans la configuration minimale ; le comportement en configuration de production est inconnu
- Le dépôt n'a été créé que mi-10, la disponibilité en production reste à confirmer ; licence Apache-2.0