Открытый AI-шлюз на Rust: единый бинарный файл с консолью администрирования, размещаемый между приложениями и различными сервисами моделей для унификации API, маршрутизации, лимитов, кэширования и защитных механизмов.
Звёзды 376 (+41 / 24 ч)
Причины
- Поддерживает подключение к OpenAI, Azure, Anthropic, Bedrock, Vertex, Gemini, Mistral, DeepSeek, xAI и любым сервисам, совместимым с OpenAI / Anthropic (например, vLLM), с автоматическим преобразованием протоколов между клиентами
- Реализует цепочки резервирования, определяемые по запросу, взвешенное распределение нагрузки, маршрутизацию по минимальной стоимости / минимальной задержке, повторные попытки, хеджирование и механизмы отключения при сбоях, с записью результатов в журнал запросов
- Четырёхуровневая система бюджетов и лимитов (в долларах или токенах) для организаций, команд, проектов и ключей; защитные механизмы охватывают PII, секреты, JSON-схемы, разрешения инструментов и обнаружение инъекций в промпты
- По заявлению автора, на одной машине с 4 vCPU при нагрузке 5000 запросов в секунду медианная задержка составляет 0.53 мс, тогда как у Bifrost она равна 19.7 мс, а LiteLLM возвращает ошибки для всех запросов
Использование
- Запустите docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion; при первом запуске будет выведен адрес консоли и одноразовый административный токен
- Добавьте сервисы моделей и сами модели в http://localhost:8081/ui/, создайте API-ключ, а затем укажите http://localhost:8080/v1 в качестве base URL для любого SDK OpenAI
Риски
- Показатели производительности основаны на собственных бенчмарках автора; в минимальной конфигурации отключены журнал запросов и кэширование, а поведение в производственной среде неизвестно
- Репозиторий был создан только в середине 10 месяца, поэтому его пригодность для продакшена требует наблюдения; лицензия Apache-2.0