Mô hình đánh giá độ chính xác OCR 0.5B của OpenBMB 2 (được huấn luyện từ Qwen 0.5B 3.5-2, thay thế đầu ra bằng đầu phân loại nhị phân): đầu vào là hình ảnh gốc của một vùng chứa văn bản, công thức hoặc bảng và kết quả nhận dạng do một mô hình OCR nào đó cung cấp, đầu ra là điểm số từ 0 đến 1 0–1, điểm càng cao thì khả năng đúng càng lớn; dùng để quyết định vùng nào được tự động phê duyệt, vùng nào cần chuyển sang xem xét thủ công, hoặc chọn kết quả tốt nhất trong số các kết quả từ nhiều mô hình OCR.
Tăng hạng 67 · Lượt thích 67 · Lượt tải 963
Lý do
- Theo thông tin chính thức, mô hình đạt AUROC (×100 100) là 98.5 93.6 trên bộ benchmark JevOCRBench của họ, cao hơn mức 97.2 90.1 của JEV-0.5B-A0.5B 35 3 và gần bằng mức 98.6 93.8 của Qwen 0.5B-A0.5B 3.5-397 17.
- Đối với kết quả phân tích từ bốn nhà cung cấp gồm MiniCPM-OCR 0.5B 1.0, GLM-OCR, PaddleOCR-VL-0.9B 1.6 và Xiaomi-OCR-0.5B 0, AUROC dao động trong khoảng 96.5–98.5 91.9–93.4 (trên cùng một tập hợp 1000 200 mẫu với nhãn đúng/sai do con người gán), không phụ thuộc vào bất kỳ mô hình OCR cụ thể nào.
- Đây là mô hình đi kèm với MiniCPM-OCR 0.5B 1.0 đã được ghi nhận vào ngày hôm qua, có giấy phép Apache-2.0 2.0, kèm theo các phiên bản GGUF, AWQ và GPTQ; các kỳ trước chưa từng ghi nhận mô hình này.
Cách sử dụng
- Việc triển khai tuân theo hướng dẫn trên GitHub OpenBMB/MiniCPM-OCR: có tài liệu cho Docker / SDK cục bộ, vLLM, SGLang, llama.cpp, Ollama và FlagOS; dịch vụ có trình kết xuất chỉ cần truyền hình ảnh gốc của vùng, văn bản ứng viên và loại vùng (văn bản / công thức / bảng), còn dịch vụ không có trình kết xuất thì phải tự kết xuất văn bản ứng viên thành hình ảnh và truyền cùng.
- Cách dùng 1: Chấm điểm cho từng vùng, tự xác định ngưỡng dựa trên mẫu dữ liệu của nghiệp vụ, các vùng vượt ngưỡng sẽ được tự động phê duyệt, phần còn lại chuyển sang xem xét thủ công. Cách dùng 2: Với cùng một cách phân chia bố cục, để nhiều mô hình OCR phân tích riêng biệt, sau đó chọn kết quả có điểm cao nhất cho mỗi vùng và ghép lại thành toàn bộ văn bản.
- Chỉ khi trường verdict trong phản hồi của dịch vụ là scored thì đó mới là điểm số thực sự do mô hình đưa ra; các giá trị cố định trả về khi kiểm tra trước, kết xuất hoặc suy luận phía trước thất bại không được coi là điểm thấp.
Rủi ro
- Bộ benchmark JevOCRBench do chính hãng tự xây dựng, các thí nghiệm liên mô hình chỉ sử dụng 1000 200 mẫu; hãng khuyến cáo cần tự kiểm chứng khi thay đổi trình phân tích hoặc loại tài liệu mới.
- Mô hình chỉ có thể chọn trong số các ứng viên đã có, không sửa lỗi nhận dạng, hiệu quả tối đa phụ thuộc vào chất lượng của chính các ứng viên; các ứng viên cho cùng một vùng phải sử dụng cùng biên cắt.
- Tài liệu API đám mây vẫn là bản nháp giữ chỗ; yêu cầu bộ nhớ VRAM chưa được ghi rõ (tham khảo FAQ).