Модель оценки корректности OCR от OpenBMB с параметрами 2B (обучена на базе Qwen3.5-2B, выходная голова заменена на бинарный классификатор): принимает на вход исходное изображение области текста, формулы или таблицы и результат распознавания, выданный какой-либо моделью OCR, и возвращает оценку в диапазоне от 0 до 1; чем выше значение, тем вероятнее правильность результата. Используется для определения того, какие области проходят автоматическую проверку, а какие требуют ручной верификации, либо для выбора лучшего результата среди нескольких моделей OCR.
Рост баллов: 67 · Лайки: 67 · Количество загрузок: 963
Обоснование
- Официально заявлено, что на собственном бенчмарке JevOCRBench показатель AUROC (×100) составляет 93.6, что выше значения 90.1 для модели JEV-35B-A3B и близко к значению 93.8 для Qwen3.5-397B-A17B.
- Для результатов распознавания, полученных от четырех систем — MiniCPM-OCR 1.0, GLM-OCR, PaddleOCR-VL-1.6 и Xiaomi-OCR-0 — показатель AUROC находится в диапазоне от 91.9 до 93.4 (на одной и той же выборке из 200 образцов с ручной разметкой правильности), не привязываясь к конкретной системе OCR.
- Это сопутствующая модель для MiniCPM-OCR 1.0, добавленной вчера; распространяется под лицензией Apache-2.0, доступны версии в форматах GGUF, AWQ и GPTQ; ранее в выпусках не публиковалась.
Использование
- Развертывание выполняется согласно руководству на GitHub OpenBMB/MiniCPM-OCR: документация доступна для Docker / локального SDK, vLLM, SGLang, llama.cpp, Ollama и FlagOS. Сервис с рендерером требует передачи только исходного изображения области, текста-кандидата и типа области (text / formula / table); при использовании без рендерера необходимо самостоятельно отрендерить текст-кандидат в изображение и передать его вместе с остальными данными.
- Вариант использования 1: присвоение оценки каждой области с установкой порога на основе данных вашего бизнеса; области с оценкой выше порога проходят автоматически, остальные передаются на ручную проверку. Вариант использования 2: при одинаковом разбиении макета страницы несколько моделей OCR выполняют распознавание, а для каждой области выбирается результат с наивысшей оценкой, после чего они объединяются в полный текст.
- В ответе сервиса поле verdict со значением scored означает реальную оценку модели; фиксированные значения, возвращаемые при ошибках предпроверки, рендеринга или прямого прохода, не следует интерпретировать как низкие оценки.
Риски
- Бенчмарк JevOCRBench создан официально разработчиками; кросс-модельные эксперименты проводились только на 200 образцах. Официально указано, что при смене парсера или типа документа требуется самостоятельная валидация.
- Модель может выбирать только среди имеющихся кандидатов и не исправляет ошибки распознавания; верхняя граница эффективности зависит от качества самих кандидатов. Для одной области все кандидаты должны использовать одинаковые границы обрезки.
- Документация по облачному API пока является черновиком; требования к видеопамяти не указаны (см. раздел FAQ).