Le modèle de détermination de la justesse OCR de 2B d'OpenBMB (entraîné à partir de Qwen3.5-2B, avec la tête de sortie remplacée par une tête de classification binaire) : il prend en entrée l'image originale d'une zone de texte, de formule ou de tableau ainsi que le résultat de reconnaissance fourni par un modèle OCR, et produit un score compris entre 0 et 1 ; plus le score est élevé, plus la reconnaissance est susceptible d'être correcte. Il sert à décider quelles zones sont validées automatiquement, lesquelles sont soumises à une vérification humaine, ou encore à choisir le meilleur résultat parmi ceux de plusieurs modèles OCR.
Hausse des points 67 · J'aime 67 · Téléchargements 963
Raisons
- Officiellement, le modèle obtient une AUROC (×100) de 93.6 sur le benchmark JevOCRBench maison, surpassant les 90.1 de JEV-35B-A3B et s'approchant des 93.8 de Qwen3.5-397B-A17B.
- Sur les résultats d'analyse de quatre fournisseurs (MiniCPM-OCR 1.0, GLM-OCR, PaddleOCR-VL-1.6 et Xiaomi-OCR-0), l'AUROC se situe entre 91.9 et 93.4 (sur le même lot de 200 échantillons, avec annotation humaine des erreurs), sans être lié à un fournisseur OCR spécifique.
- C'est le modèle complémentaire de MiniCPM-OCR 1.0, inclus hier, sous licence Apache-2.0, avec des versions GGUF, AWQ et GPTQ ; il n'avait pas été inclus dans les numéros précédents.
Utilisation
- Le déploiement suit les tutoriels du dépôt GitHub OpenBMB/MiniCPM-OCR : la documentation couvre Docker / SDK local, vLLM, SGLang, llama.cpp, Ollama et FlagOS. Pour les services avec rendu, il suffit de transmettre l'image originale de la zone, le texte candidat et la catégorie de la zone (texte / formule / tableau) ; pour ceux sans rendu, il faut rendre soi-même le texte candidat en image et le transmettre également.
- Utilisation 1 : attribuer un score à chaque zone, définir un seuil basé sur les échantillons de votre activité, valider automatiquement les scores supérieurs au seuil et soumettre les autres à une vérification humaine. Utilisation 2 : pour une même segmentation de page, faire analyser le document par plusieurs modèles OCR et assembler le texte complet en conservant, pour chaque zone, le résultat ayant obtenu le score le plus élevé.
- Seul un verdict « scored » renvoyé par le service indique un score réellement calculé par le modèle ; les valeurs fixes renvoyées en cas d'échec de la pré-vérification, du rendu ou de l'inférence ne doivent pas être interprétées comme des scores bas.
Risques
- Le benchmark d'évaluation JevOCRBench est créé par l'éditeur, et les expériences inter-modèles ne portent que sur 200 échantillons ; l'éditeur recommande de valider par vous-même si vous changez de moteur d'analyse ou de type de document.
- Le modèle ne peut que choisir parmi les candidats existants et ne corrige pas les erreurs de reconnaissance ; la performance maximale dépend donc de la qualité des candidats eux-mêmes. Les candidats pour une même zone doivent utiliser les mêmes limites de découpe.
- La documentation de l'API cloud est encore un brouillon ; les besoins en mémoire vidéo ne sont pas précisés (renvoi vers la FAQ).