Thư viện thị giác máy tính khả vi trên PyTorch: các toán tử xử lý ảnh, thị giác hình học, tăng cường dữ liệu và khớp đặc trưng đều chạy hàng loạt trực tiếp trên tensor GPU, phần lớn có thể lan truyền ngược và tích hợp trực tiếp vào quy trình huấn luyện.
Số sao 12133 (+412 / 24h)
Lý do
- Tác giả cho biết có hơn 1200 toán tử công khai, phần lớn không có trong torchvision: mô hình máy ảnh và hình học đối cực, bộ giải tối thiểu và RANSAC, các đặc trưng cục bộ và khớp đặc trưng như SIFT / DISK / ALIKED / XFeat / DeDoDe / LoFTR / LightGlue; mỗi ảnh trong một lần gọi có thể sử dụng các tham số khác nhau
- Dự án hướng tới việc cung cấp các triển khai tham chiếu cho thị giác và hình học khả vi trong hệ sinh thái PyTorch, chú trọng các quy ước rõ ràng, kiểm thử tính nhất quán và benchmark trung thực: README nêu rõ cả điểm mạnh (nhanh hơn nhiều so với OpenCV chạy từng ảnh trên CPU khi chạy hàng loạt trên GPU) và điểm yếu (các toán tử nhỏ như lật, cắt kém hơn torchvision, OpenCV nhanh hơn với ảnh uint8 đơn lẻ)
- Phần lớn các toán tử có thể chạy dưới torch.compile, nhiều toán tử có thể xuất sang ONNX, tình trạng hỗ trợ của từng toán tử được công khai trong tài liệu
Cách dùng
- pip install kornia; ví dụ: gaussian_blur2d(x, (9, 9), sigma) trong đó sigma có thể là tensor chứa các giá trị khác nhau cho từng ảnh, AugmentationSequential áp dụng cùng một phép biến đổi ngẫu nhiên đồng bộ cho ảnh, mặt nạ, khung và điểm đặc trưng
Rủi ro
- Với các thao tác đơn giản dùng tham số cố định, vài dòng PyTorch hoặc torchvision là đủ; bán chính xác (half-precision) trên CPU vẫn có các trường hợp lỗi đã biết, bán chính xác trên CUDA / MPS chưa được bao phủ bởi CI
- Các con số so sánh tốc độ dựa trên benchmark của tác giả trên RTX 4090, có thể thay đổi tùy theo phần cứng và tải công việc; dự án lâu năm (từ năm 2018), lần đầu tiên xuất hiện trong danh sách này; giấy phép Apache-2.0