Специализированная визуально-языковая модель OCR от Xiaomi с параметрами 0.8B (обучена на базе Qwen3.5-0.8B-Base), которая в рамках одной модели выполняет разбор целых страниц документов (вывод в Markdown, таблицы в OTSL, формулы в LaTeX, в порядке чтения), распознавание текста/таблиц/формул в отдельных областях, вопросы и ответы в стиле OCR и извлечение ключевой информации согласно JSON Schema.
Рост рейтинга на 62 · Лайки 115 · Загрузки 15472
Причины
- Официально заявлено, что модель занимает первое место в Real5-OmniDocBench 95.24, а также второе место в OmniDocBench v1.6 96.83 и Wild-OmniDocBench 87.94 (уступая только TeleOCR с параметрами 1.2B 96.87 / 88.53); распознавание формул в UniMER-Test 97.84, распознавание таблиц в PubTabNet 92.27.
- Средний балл по пяти бенчмаркам вопросов и ответов по OCR составляет 83.2, что выше показателя Qwen3.5-2B 80.9, но ниже показателя Qwen3.5-4B 84.9; в Chronicles-OCR для исторических рукописных и каллиграфических текстов (стилей ли, цао, син, кай) получен балл 73, сопоставимый с 72 у Seed 2.0 Pro; модель также специально обучена на перефотографированных, искаженных и наклоненных документах.
- Около 1.7 млрд единиц данных для OCR, собранных с помощью автоматизированных процессов разметки, включающих перекрестное голосование нескольких моделей OCR и проверку путем рендеринга изображений; дообучение проводилось с использованием смешанного обучения с подкреплением; релиз состоялся 30 9 вместе с техническим отчетом, ранее в выпусках не упоминалась (вчерашний выпуск MiniCPM-OCR-Jev включил её в список оцениваемых парсеров).
Использование
- Transformers: uv pip install "transformers==5.17.0" "torch==2.14.0" "torchvision==0.29.0" pillow, загрузка через AutoModelForImageTextToText, параметры do_sample=False, max_new_tokens=4096; поддерживается запуск на CUDA, Apple mps и CPU.
- Смена промптов в зависимости от задачи: для целых страниц используйте длинный промпт из карточки «Extract all information from the main body…»; для отдельных областей — «Extract the text in the image.» / «Parse the table in the image into OTSL.» / преобразование формул в LaTeX; для извлечения полей используйте «Extract key information in the image» с последующим указанием собственной JSON Schema.
- Ollama (экспериментально): ollama pull longwayxu/xiaomi-ocr-0:bf16 (около 1.8 ГБ), затем подключите встроенный в репозиторий MCP-сервис или браузерное демо согласно OLLAMA.md на GitHub; двухэтапный процесс (сначала анализ макета, затем распознавание по областям) с использованием PP-DocLayoutV3 и скрипты пакетной обработки находятся в репозитории на GitHub.
Риски
- Все результаты взяты из официальных сводок, сравнительные значения — из отчетов других разработчиков; официальных оценок для общедоступных конвертированных версий, таких как GGUF и NInfer, нет.
- Вывод таблиц выполняется в формате OTSL, для преобразования в таблицы HTML / Markdown требуется самостоятельная обработка; простой запуск модели через Ollama не включает автоматически официальные настройки предобработки и декодирования.
- В коде карточки все еще указан старый репозиторий SeerRay-Lab/Xiaomi-OCR-0 (Hugging Face перенаправит на текущий репозиторий); требования к видеопамяти не указаны.