Xiaomiの0.8BパラメータのOCR特化視覚言語モデル（Qwen3.5-0.8B-Baseから訓練）。単一のモデルで、ページ全体のドキュメント解析（出力はMarkdown形式、表はOTSL、数式はLaTeX、読み上げ順に準拠）、単一領域のテキスト/表/数式認識、OCR関連の質問応答、およびJSON Schemaに基づく主要情報の抽出を同時に行います。
上昇スコア 62 · いいね 115 · ダウンロード数 15472
理由
- 公式によれば、Real5-OmniDocBench 95.24 で第1位、OmniDocBench v1.6 96.83 および Wild-OmniDocBench 87.94 で第2位（1.2BパラメータのTeleOCR 96.87 / 88.53 に次ぐ）を獲得しています。数式認識ではUniMER-Test 97.84、表認識ではPubTabNet 92.27 で好成績を収めています。
- 5つのOCR質問応答ベンチマークの平均スコアは83.2で、Qwen3.5-2Bの80.9を上回り、Qwen3.5-4Bの84.9を下回っています。歴史的な手書き文字および書体（隷書、草書、行書、楷書）を対象としたChronicles-OCRでは73を記録し、Seed 2.0 Proの72と同等です。また、撮影された文書、歪んだ文書、傾いた文書に対しても専用の訓練が行われています。
- 約1.7億件のOCRデータは、複数のOCRモデルによるクロス投票やレンダリング画像との照合などの自動アノテーションプロセスを通じて構築されました。後段の訓練では混合タスクの強化学習が用いられています。9年30日に技術レポートとともに公開され、それ以前の版には含まれていませんでした（昨日公開されたMiniCPM-OCR-Jevでは、採点可能なパーサーの一つとして挙げられています）。
使い方
- Transformers：
uv pip install "transformers==5.17.0" "torch==2.14.0" "torchvision==0.29.0" pillowを実行し、AutoModelForImageTextToTextでモデルを読み込みます。do_sample=False、max_new_tokens=4096を設定します。CUDA、Apple MPS、CPUのいずれでも動作します。 - タスクに応じてプロンプトを切り替えます。ページ全体の場合は、カードに記載されている「Extract all information from the main body…」という長いプロンプトを使用します。単一領域の場合は、「Extract the text in the image.」/「Parse the table in the image into OTSL.」/ 数式をLaTeXに変換するプロンプトを使用します。フィールド抽出の場合は、「Extract key information in the image」の後に独自のJSON Schemaを続けます。
- Ollama（実験的）：
ollama pull longwayxu/xiaomi-ocr-0:bf16（約1.8 GB）を実行し、GitHubのOLLAMA.mdに従って、リポジトリに同梱されているMCPサービスやブラウザデモに接続します。レイアウト解析後に領域ごとに認識を行う2段階プロセス（PP-DocLayoutV3）およびバッチ処理スクリプトはGitHubリポジトリにあります。
リスク
- すべてのスコアは公式による集計値であり、比較対象の数値は各社のレポートに基づいています。GGUFやNInferなどのコミュニティ変換版については、公式による評価は行われていません。
- 表の出力はOTSL形式であるため、HTML/Markdown表への変換は独自に処理する必要があります。Ollamaでモデルを取得するだけでは、公式の前処理およびデコード設定は自動的に適用されません。
- カード内のコードには旧リポジトリ名
SeerRay-Lab/Xiaomi-OCR-0が記載されています（Hugging Faceでは現在のリポジトリへリダイレクトされます）。VRAM要件は明記されていません。