Rust로 작성된 오픈소스 AI 게이트웨이: 관리 콘솔이 포함된 단일 바이너리로, 애플리케이션과 다양한 모델 서비스 사이에 위치하여 API, 라우팅, 할당량, 캐시 및 보안 가드레일을 통합합니다.
스타 수 376 (+41 / 24시간)
이유
- 백엔드는 OpenAI, Azure, Anthropic, Bedrock, Vertex, Gemini, Mistral, DeepSeek, xAI 및 모든 OpenAI / Anthropic 호환 서비스(예: vLLM)에 연결할 수 있으며, 클라이언트 프로토콜 간 자동 변환을 지원합니다
- 요청별 폴백 체인, 가중치 기반 트래픽 분산, 최저 비용 / 최저 지연 시간 라우팅, 재시도, 헤지 및 서킷 브레이커를 지원하며, 결과는 요청 로그에 기록됩니다
- 조직, 팀, 프로젝트, 키의 4단계에서 달러 또는 토큰 예산 및 속도 제한을 설정할 수 있습니다. 가드레일은 PII, 시크릿, JSON 스키마, 도구 권한 및 프롬프트 인젝션 감지를 포함합니다
- 저자는 동일한 4 vCPU 머신에서 초당 5000 요청 시 중위 오버헤드가 0.53 ms인 반면, Bifrost는 19.7 ms이고 LiteLLM은 모두 오류가 발생했다고 주장합니다
사용법
- docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion을 실행하면, 첫 번째 시작 시 콘솔 주소와 일회용 관리자 토큰이 출력됩니다
- http://localhost:8081/ui/에서 모델 서비스와 모델을 추가하고 API 키를 생성한 후, 모든 OpenAI SDK의 base URL을 http://localhost:8080/v1으로 지정합니다
리스크
- 성능 수치는 저자 자신의 벤치마크 테스트 결과이며, 최소 구성에서는 요청 로그와 캐시가 비활성화되어 있어 프로덕션 환경에서의 성능은 불명확합니다
- 저장소는 10월 중순에 생성되어 프로덕션 사용 가능성은 아직 검증이 필요합니다. 라이선스는 Apache-2.0입니다