Rustで書かれたオープンソースのAIゲートウェイ：管理コンソールを備えた単一バイナリで、アプリケーションと各モデルサービスとの間に配置され、API、ルーティング、レート制限、キャッシュ、セキュリティガードレールを統一します。
スター数 376（+41 / 24時間）
理由
- バックエンドはOpenAI、Azure、Anthropic、Bedrock、Vertex、Gemini、Mistral、DeepSeek、xAI、およびあらゆるOpenAI / Anthropic互換サービス（vLLMなど）に接続可能で、クライアントプロトコル間の変換を自動で行います
- リクエストごとに決定されるフォールバックチェーン、加重トラフィック分散、最低コスト / 最低遅延ルーティング、リトライ、ヘッジング、サーキットブレーカーを提供し、結果をリクエストログに記録します
- 組織、チーム、プロジェクト、キーの4段階で、ドルまたはトークン単位の予算管理とレート制限を実施します。ガードレールはPII、シークレット、JSONスキーマ、ツール権限、プロンプトインジェクション検出をカバーします
- 作者によると、同一の4 vCPUマシン上で、毎秒5000リクエスト時の中央値オーバーヘッドは0.53 msであり、Bifrostは19.7 ms、LiteLLMはすべてエラーとなりました
使い方
- docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion を実行すると、初回起動時にコンソールアドレスと使い捨て管理者トークンが表示されます
- http://localhost:8081/ui/ でモデルサービスとモデルを追加し、APIキーを作成した後、任意のOpenAI SDKのbase URLをhttp://localhost:8080/v1に向けます
リスク
- パフォーマンス数値は作者自身のベンチマークテストによるもので、最小構成ではリクエストログとキャッシュが無効化されており、本番構成でのパフォーマンスは不明です
- リポジトリは10月中旬に作成されたばかりで、本番環境での可用性は今後の観察が必要です。ライセンスはApache-2.0です