xiaomi-research/Xiaomi-OCR-0

Mô hình ngôn ngữ thị giác chuyên dụng OCR 0.8B của Xiaomi (được huấn luyện từ Qwen3.5-0.8B-Base), một mô hình duy nhất thực hiện đồng thời phân tích toàn bộ trang tài liệu (xuất ra Markdown, bảng ở định dạng OTSL, công thức ở định dạng LaTeX, theo thứ tự đọc), nhận diện văn bản / bảng / công thức trong từng vùng riêng lẻ, hỏi đáp liên quan đến OCR và trích xuất thông tin chính theo JSON Schema.

Tăng 62 điểm · Lượt thích 115 · Lượt tải 15472

Lý do

• Nhà phát triển tuyên bố mô hình xếp thứ nhất trên Real5-OmniDocBench 95.24, xếp thứ hai trên OmniDocBench v1.6 96.83 và Wild-OmniDocBench 87.94 (chỉ sau TeleOCR 96.87 / 88.53 của mô hình 1.2B); nhận diện công thức đạt 97.84 trên UniMER-Test, nhận diện bảng đạt 92.27 trên PubTabNet.
• Điểm trung bình trên năm bộ dữ liệu chuẩn hỏi đáp OCR là 83.2, cao hơn 80.9 của Qwen3.5-2B nhưng thấp hơn 84.9 của Qwen3.5-4B; trên Chronicles-OCR (văn bản viết tay lịch sử và thư pháp gồm lệ thư, thảo thư, hành thư, khải thư) đạt 73, tương đương với 72 của Seed 2.0 Pro; mô hình cũng được huấn luyện chuyên biệt cho các tài liệu bị chụp lại, biến dạng hoặc nghiêng.
• Khoảng 1.7 tỷ mẫu dữ liệu OCR, được xây dựng thông qua quy trình tự động gán nhãn bằng cách bỏ phiếu chéo giữa nhiều mô hình OCR và kiểm tra lại bằng cách render thành hình ảnh; giai đoạn hậu huấn luyện sử dụng học tăng cường với các tác vụ hỗn hợp; được công bố cùng báo cáo kỹ thuật vào ngày 30 tháng 9, trước đó chưa được liệt kê trong các kỳ trước (bản MiniCPM-OCR-Jev được thêm vào ngày hôm qua đã xếp nó vào danh sách các trình phân tích có thể chấm điểm).

Cách sử dụng

• Transformers: chạy lệnh uv pip install "transformers==5.17.0" "torch==2.14.0" "torchvision==0.29.0" pillow, tải mô hình bằng AutoModelForImageTextToText với tham số do\_sample=False và max\_new\_tokens=4096; có thể chạy trên CUDA, Apple mps và CPU.
• Thay đổi prompt theo từng tác vụ: đối với toàn bộ trang, sử dụng prompt dài “Extract all information from the main body…” được cung cấp trong thẻ mô hình; đối với từng vùng riêng lẻ, sử dụng “Extract the text in the image.” / “Parse the table in the image into OTSL.” / chuyển đổi công thức sang LaTeX; để trích xuất trường thông tin, sử dụng “Extract key information in the image” kèm theo JSON Schema của bạn.
• Ollama (thử nghiệm): chạy ollama pull longwayxu/xiaomi-ocr-0:bf16 (khoảng 1.8 GB), sau đó kết nối với dịch vụ MCP đi kèm trong kho lưu trữ hoặc demo trình duyệt theo hướng dẫn trong OLLAMA.md trên GitHub; quy trình hai giai đoạn (phân tích bố cục trước, sau đó nhận diện từng vùng - sử dụng PP-DocLayoutV3) và các script xử lý hàng loạt có sẵn trong kho lưu trữ GitHub.

Rủi ro

• Tất cả các kết quả đều do nhà phát triển tổng hợp, các giá trị so sánh lấy từ báo cáo của từng bên; các phiên bản chuyển đổi cộng đồng như GGUF, NInfer chưa được đánh giá chính thức.
• Đầu ra bảng ở định dạng OTSL, cần tự xử lý để chuyển đổi sang bảng HTML / Markdown; chỉ kéo mô hình bằng Ollama sẽ không tự động áp dụng các thiết lập tiền xử lý và giải mã chính thức.
• Mã trong thẻ mô hình vẫn ghi tên kho cũ SeerRay-Lab/Xiaomi-OCR-0 (Hugging Face sẽ chuyển hướng đến kho hiện tại); yêu cầu về VRAM không được nêu rõ.

Mở