Thế hệ thứ hai của mô hình phân tích OCR tài liệu dài của Baidu: đưa các hình ảnh trang của tài liệu nhiều trang (thậm chí cả một cuốn sách) vào theo thứ tự trong một lần duy nhất, xuất kết quả phân tích từng trang và tận dụng ngữ cảnh xuyên trang; thế hệ thứ nhất nhằm mục đích thúc đẩy DeepSeek-OCR, thế hệ thứ hai bổ sung cơ chế chú ý SR-SWA, giúp độ dài tài liệu không còn bị giới hạn bởi cửa sổ ngữ cảnh.
Điểm tăng 234 · Lượt thích 245 · Lượt tải 513
Lý do
- SR-SWA (cơ chế chú ý cửa sổ trượt tham chiếu thưa) nén cơ chế chú ý hình ảnh-văn bản trong các chuỗi cực dài xuống một số lượng cố định các tham chiếu làm việc (ví dụ: 512 token), theo tuyên bố chính thức, độ trễ giải mã mỗi bước và bộ nhớ GPU hầu như không tăng theo độ dài tài liệu.
- Theo tuyên bố chính thức, mô hình đạt kết quả tốt nhất trên cả các bộ chuẩn ở quy mô vài chục trang (MPDocBench) và hàng trăm trang (MarathonDocBench), đồng thời công khai bộ dữ liệu MarathonDocBench; điểm số cụ thể chỉ có trong hình ảnh bảng xếp hạng, không được liệt kê bằng số trong bài viết.
- Giấy phép MIT; phát hành vào ngày 27 tháng 10, trước đó chưa được đưa vào các bản tin kỳ trước; thẻ mô hình kèm theo một đoạn GIF mô phỏng quá trình phân tích toàn bộ cuốn Harry Potter trong một yêu cầu duy nhất, và mô hình cũng đã được triển khai trên ModelScope và Baidu Intelligent Cloud. Điểm tăng 234 chỉ phản ánh mức độ quan tâm.
Cách sử dụng
- Kiểm tra nhanh với Transformers (môi trường chính thức: Python 3.10, torch 2.13.0, transformers 4.52.1, A800-80GB): AutoModel.from_pretrained("baidu/Unlimited-OCR-2", trust_remote_code=True, use_safetensors=True, torch_dtype=torch.bfloat16); đối với nhiều trang, truyền danh sách hình ảnh theo thứ tự trang vào model.infer_multi(tokenizer, image_files=...), đối với một trang dùng model.infer(...), mặc định sử dụng chế độ gundam với việc cắt khối.
- Đối với triển khai dịch vụ, chính thức khuyến nghị SGLang: cài đặt wheel SGLang tùy chỉnh chính thức (0.5.20.dev10) và PyMuPDF, thiết lập các biến môi trường theo thẻ mô hình (mặc định mỗi 10 trang một cửa sổ, giới hạn đầu ra mỗi trang là 20000 token), khởi động với --chat-template unlimited-ocr và sử dụng giao diện tương thích OpenAI; PDF trước tiên được chuyển đổi thành hình ảnh ở độ phân giải 300 dpi.
- Trong yêu cầu, đặt temperature là 0 và gắn bộ xử lý logit n-gram chống lặp lại theo ví dụ (ngram_size 35, window_size cho nhiều trang là 1024, cho một trang là 128).
Rủi ro
- Cần trust_remote_code, SGLang yêu cầu cài đặt wheel tùy chỉnh; thẻ mô hình không ghi rõ số lượng tham số và yêu cầu bộ nhớ GPU tối thiểu, đường dẫn Transformers chỉ được kiểm thử trên A800-80GB.
- Cửa sổ trang càng nhỏ thì bộ nhớ GPU càng thấp, nhưng chính thức cho biết nội dung vượt qua ranh giới cửa sổ sẽ mất ngữ cảnh; cài đặt mặc định của độ lệch chú ý SAM có thể gây tràn bộ nhớ, cần thay đổi thành 64 theo thẻ mô hình.
- “Kết quả tốt nhất” là do chính thức tự kiểm tra, bảng xếp hạng chỉ có hình ảnh, không có số liệu để đối chiếu.