Cổng AI mã nguồn mở viết bằng Rust: một binary tích hợp bảng điều khiển quản lý, đặt giữa ứng dụng và các dịch vụ mô hình khác nhau, thống nhất API, định tuyến, giới hạn, bộ nhớ đệm và các rào chắn an toàn.
Số sao 376 (+41 / 24h)
Lý do
- Backend có thể kết nối với OpenAI, Azure, Anthropic, Bedrock, Vertex, Gemini, Mistral, DeepSeek, xAI và bất kỳ dịch vụ tương thích OpenAI / Anthropic nào (như vLLM), tự động chuyển đổi giữa các giao thức phía client
- Chuỗi dự phòng được xác định theo từng yêu cầu, phân luồng có trọng số, định tuyến theo chi phí thấp nhất / độ trễ thấp nhất, thử lại, hedging và circuit breaker, kết quả được ghi vào nhật ký yêu cầu
- Ngân sách và giới hạn tốc độ theo đô la hoặc token ở bốn cấp độ: tổ chức, nhóm, dự án và Key; các rào chắn bao gồm phát hiện PII, khóa bí mật, schema JSON, quyền công cụ và phát hiện chèn prompt
- Tác giả tuyên bố trên cùng một máy 4 vCPU, với 5000 yêu cầu mỗi giây, độ trễ trung vị là 0.53 ms, trong khi Bifrost là 19.7 ms và LiteLLM báo lỗi hoàn toàn
Cách sử dụng
- docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion, lần khởi động đầu tiên sẽ in ra địa chỉ bảng điều khiển và token quản trị viên dùng một lần
- Thêm dịch vụ mô hình và mô hình trong http://localhost:8081/ui/, tạo API Key, sau đó trỏ base URL của bất kỳ SDK OpenAI nào đến http://localhost:8080/v1
Rủi ro
- Các con số hiệu năng là từ bài kiểm tra chuẩn của tác giả, với cấu hình tối thiểu đã tắt nhật ký yêu cầu và bộ nhớ đệm, hiệu năng trong môi trường sản xuất chưa rõ
- Kho lưu trữ chỉ được tạo vào giữa tháng 10, khả năng sẵn sàng cho sản xuất cần được theo dõi thêm; giấy phép Apache-2.0