Le modèle de vision-langage dédié à l'OCR de Xiaomi, de 0.8 milliards de paramètres (entraîné à partir de Qwen3.5-0.8B-Base), capable d'assurer simultanément l'analyse de documents en page entière (sortie en Markdown, tableaux en OTSL, formules en LaTeX, selon l'ordre de lecture), la reconnaissance de texte, de tableaux et de formules dans une zone unique, les questions-réponses de type OCR et l'extraction d'informations clés selon un schéma JSON.
Hausse de score de 62 · J'aime 115 · Téléchargements 15472
Raisons
- Selon les données officielles, Real5-OmniDocBench 95.24 se classe premier, tandis qu'OmniDocBench v1.6 96.83 et Wild-OmniDocBench 87.94 se classent seconds (juste derrière TeleOCR 96.87 / 88.53 de 1.2 milliards de paramètres) ; la reconnaissance de formules sur UniMER-Test atteint 97.84 et la reconnaissance de tableaux sur PubTabNet atteint 92.27.
- La moyenne sur cinq benchmarks de questions-réponses OCR est de 83.2, supérieure aux 80.9 de Qwen3.5-2B mais inférieure aux 84.9 de Qwen3.5-4B ; sur Chronicles-OCR, qui traite l'écriture manuscrite historique et la calligraphie (styles lishu, caoshu, xingshu et kaishu), le score est de 73, comparable aux 72 de Seed 2.0 Pro ; le modèle a également été spécifiquement entraîné pour les documents photographiés, déformés ou inclinés.
- Environ 1.7 milliards de données OCR ont été construites grâce à des processus d'annotation automatique tels que le vote croisé entre plusieurs modèles OCR et la vérification par rendu d'image ; l'entraînement postérieur utilise l'apprentissage par renforcement sur des tâches mixtes ; le modèle a été publié avec le rapport technique le 30 9, n'ayant pas été inclus dans les numéros précédents (MiniCPM-OCR-Jev, inclus hier, le liste comme l'un des analyseurs pouvant être notés).
Utilisation
- Transformers : uv pip install "transformers==5.17.0" "torch==2.14.0" "torchvision==0.29.0" pillow, chargement via AutoModelForImageTextToText, avec do_sample=False et max_new_tokens=4096 ; fonctionne sur CUDA, Apple mps et CPU.
- Adaptez les prompts selon la tâche : pour la page entière, utilisez le long prompt « Extract all information from the main body… » figurant dans la fiche ; pour une zone unique, utilisez « Extract the text in the image. » / « Parse the table in the image into OTSL. » / conversion de formule en LaTeX ; pour l'extraction de champs, utilisez « Extract key information in the image » suivi de votre propre schéma JSON.
- Ollama (expérimental) : ollama pull longwayxu/xiaomi-ocr-0:bf16 (environ 1.8 Go), puis connectez le service MCP inclus dans le dépôt ou la démonstration navigateur en suivant OLLAMA.md sur GitHub ; le flux en deux étapes (analyse de mise en page puis reconnaissance par zone, via PP-DocLayoutV3) et les scripts de traitement par lots sont disponibles dans le dépôt GitHub.
Risques
- Tous les scores sont des agrégats officiels, les valeurs de comparaison proviennent des rapports respectifs des éditeurs ; les versions communautaires converties (GGUF, NInfer, etc.) n'ont pas été évaluées officiellement.
- La sortie des tableaux est au format OTSL, la conversion en tableaux HTML / Markdown doit être gérée manuellement ; le simple téléchargement du modèle via Ollama n'inclut pas automatiquement les paramètres officiels de prétraitement et de décodage.
- Le code de la fiche mentionne encore l'ancien nom de dépôt SeerRay-Lab/Xiaomi-OCR-0 (Hugging Face redirige vers le dépôt actuel) ; les besoins en mémoire vidéo ne sont pas indiqués.