Deuxième génération du modèle d'analyse OCR de longs documents de Baidu : les images des pages de documents multi-pages (voire de livres entiers) sont envoyées séquentiellement en une seule fois, avec une sortie des résultats d'analyse page par page, en exploitant le contexte inter-pages ; la première génération visait à faire progresser DeepSeek-OCR, tandis que la deuxième introduit l'attention SR-SWA, permettant aux documents de dépasser les limites de la fenêtre de contexte.
Hausse de score 234 · J'aime 245 · Téléchargements 513
Raison
- SR-SWA (attention à fenêtre glissante avec références éparses) compresse l'attention image-texte dans les séquences très longues vers un nombre fixe de références de travail (par exemple 512 jetons), et l'éditeur officiel affirme que la latence de décodage par étape et la mémoire vidéo restent quasi constantes quelle que soit la longueur du document.
- L'éditeur officiel déclare obtenir les meilleurs résultats sur les benchmarks de dizaines de pages (MPDocBench) et de centaines de pages (MarathonDocBench), tout en publiant le jeu de données MarathonDocBench ; les scores spécifiques ne figurent que dans les images du classement et ne sont pas listés dans le texte.
- Licence MIT ; publié le 27 10, absent des numéros précédents ; la fiche du modèle inclut une animation de démonstration montrant l'analyse d'un livre entier d'Harry Potter en une seule requête, et le modèle est également disponible sur ModelScope et Baidu Intelligent Cloud. La hausse de score 234 ne reflète que le niveau d'attention.
Utilisation
- Test rapide avec Transformers (environnement officiel : Python 3.10, torch 2.13.0, transformers 4.52.1, A800-80GB) : AutoModel.from_pretrained("baidu/Unlimited-OCR-2", trust_remote_code=True, use_safetensors=True, torch_dtype=torch.bfloat16) ; pour les documents multi-pages, passez la liste des images dans l'ordre des pages à model.infer_multi(tokenizer, image_files=...), utilisez model.infer(...) pour les pages uniques, avec le mode gundam par défaut qui effectue le découpage.
- Pour la mise en service, l'éditeur recommande officiellement SGLang : installez la roue SGLang personnalisée officielle (0.5.20.dev10) et PyMuPDF, configurez les variables d'environnement selon la fiche (par défaut, une fenêtre toutes les 10 pages, limite de sortie de 20000 jetons par page), lancez avec --chat-template unlimited-ocr puis utilisez l'interface compatible OpenAI ; convertissez d'abord les PDF en images à 300 dpi.
- Dans les requêtes, définissez temperature sur 0 et ajoutez le processeur de logit n-gram anti-répétition comme dans l'exemple (ngram_size 35, window_size 1024 pour les multi-pages, 128 pour les pages uniques).
Risques
- Nécessite trust_remote_code, et SGLang exige l'installation d'une roue personnalisée ; la fiche du modèle ne précise ni le nombre de paramètres ni la mémoire vidéo minimale, et la voie Transformers n'a été testée que sur A800-80GB.
- Une fenêtre de pages plus petite réduit la mémoire vidéo, mais l'éditeur indique que le contenu aux frontières des fenêtres perd le contexte ; les paramètres par défaut du biais d'attention SAM peuvent provoquer un dépassement de mémoire vidéo, il faut les modifier à 64 selon la fiche.
- Les « meilleurs résultats » sont auto-déclarés par l'éditeur, le classement ne contient que des images, sans chiffres vérifiables.