샤오미의 0.8B 파라미터 OCR 전용 비전 언어 모델(Qwen3.5-0.8B-Base에서 학습됨)로, 하나의 모델이 전체 페이지 문서 파싱(Markdown 출력, 표는 OTSL, 수식은 LaTeX, 읽기 순서 유지), 단일 영역의 텍스트/표/수식 인식, OCR 관련 질의응답, 그리고 JSON 스키마에 따른 주요 정보 추출을 동시에 수행합니다.
상승 점수 62 · 좋아요 115 · 다운로드 수 15472
이유
- 공식적으로 Real5-OmniDocBench 95.24에서 1위, OmniDocBench v1.6 96.83 및 Wild-OmniDocBench 87.94에서 2위(1.2B 파라미터의 TeleOCR 96.87 / 88.53에 이어)를 기록했다고 주장합니다. 수식 인식은 UniMER-Test 97.84, 표 인식은 PubTabNet 92.27에서 성능을 보였습니다.
- 5개의 OCR 질의응답 벤치마크 평균 점수는 83.2으로, Qwen3.5-2B의 80.9보다 높고 Qwen3.5-4B의 84.9보다는 낮습니다. 역사적 필체와 서예(예서, 초서, 행서, 해서)를 다루는 Chronicles-OCR에서는 73점을 받아 Seed 2.0 Pro의 72점과 유사한 수준이며, 촬영본, 왜곡된 문서, 기울어진 문서에 대해서도 특별히 학습되었습니다.
- 약 1.7억 개의 OCR 데이터는 여러 OCR 모델의 교차 투표, 렌더링 후 이미지 대조 등 자동 어노테이션 파이프라인을 통해 구축되었으며, 후속 학습에는 혼합 작업 강화 학습이 사용되었습니다. 9월 30일 기술 보고서와 함께 공개되었으며, 이전 호에서는 다루지 않았습니다(어제 호에서 MiniCPM-OCR-Jev가 이를 채점 가능한 파서 중 하나로 언급했습니다).
사용법
- Transformers:
uv pip install "transformers==5.17.0" "torch==2.14.0" "torchvision==0.29.0" pillow명령으로 설치 후,AutoModelForImageTextToText로 로드하며do_sample=False,max_new_tokens=4096설정을 사용합니다. CUDA, Apple MPS 및 CPU 환경에서 모두 실행 가능합니다. - 작업에 따라 프롬프트를 변경합니다: 전체 페이지는 카드에 있는 "Extract all information from the main body…" 긴 프롬프트를 사용하고, 단일 영역은 "Extract the text in the image." / "Parse the table in the image into OTSL." / 수식을 LaTeX로 변환하는 프롬프트를 사용하며, 필드 추출은 "Extract key information in the image" 뒤에 자체 JSON 스키마를 붙여 사용합니다.
- Ollama(실험적):
ollama pull longwayxu/xiaomi-ocr-0:bf16(약 1.8 GB)로 가져온 후, GitHub의 OLLAMA.md를 참고하여 저장소에 포함된 MCP 서비스나 브라우저 데모와 연동합니다. 레이아웃 분석 후 영역별 인식을 수행하는 2단계 파이프라인(PP-DocLayoutV3)과 배치 처리 스크립트는 GitHub 저장소에 있습니다.
리스크
- 모든 성능 지표는 공식 집계이며, 비교 수치는 각 모델의 보고서에서 가져왔습니다. GGUF, NInfer 등 커뮤니티 변환 버전은 공식적으로 평가되지 않았습니다.
- 표 출력은 OTSL 형식이므로 HTML/Markdown 표로 변환하려면 사용자가 직접 처리해야 합니다. Ollama로 모델만 가져올 경우 공식적인 전처리 및 디코딩 설정이 자동으로 적용되지 않습니다.
- 카드의 코드에는 여전히 이전 저장소 이름인 SeerRay-Lab/Xiaomi-OCR-0가 명시되어 있습니다(Hugging Face는 현재 저장소로 리디렉션됩니다). VRAM 요구 사항은 명시되지 않았습니다.