바이두의 장문서 OCR 해석 모델 2세대: 여러 페이지 문서(심지어 책 전체)의 페이지 이미지를 순서대로 한 번에 입력하여 페이지별로 해석 결과를 출력하고, 페이지 간 컨텍스트를 활용합니다. 1세대는 DeepSeek-OCR의 발전을 목표로 했으며, 2세대는 SR-SWA 어텐션을 도입하여 문서 길이가 컨텍스트 윈도우의 제한을 받지 않도록 했습니다.
상승 점수 234 · 좋아요 245 · 다운로드 수 513
이유
- SR-SWA(희소 참조 슬라이딩 윈도우 어텐션)는 초장문 시퀀스의 이미지-텍스트 어텐션을 고정된 수의 작업 참조(예: 512개 토큰)로 압축하며, 공식적으로 각 디코딩 단계의 지연 시간과 메모리 사용량이 문서 길이에 거의 비례하지 않는다고 주장합니다.
- 공식적으로 수십 페이지 규모(MPDocBench)와 수백 페이지 규모(MarathonDocBench) 벤치마크 모두에서 최고 성적을 기록했으며, MarathonDocBench 데이터셋도 함께 공개했습니다. 구체적인 점수는 리더보드 이미지만 존재하며 본문에는 숫자가 명시되어 있지 않습니다.
- MIT 라이선스; 10월 27일 출시되었으며, 이전 호에서는 다루지 않았습니다. 모델 카드에는 『해리 포터』 전체를 한 번의 요청으로 해석하는 재생 GIF가 첨부되어 있으며, ModelScope와 바이두 클라우드에도 이미 배포되었습니다. 상승 점수 234은 단순한 관심도를 나타냅니다.
사용법
- Transformers를 통한 빠른 테스트(공식 환경: Python 3.10, torch 2.13.0, transformers 4.52.1, A800-80GB): AutoModel.from_pretrained("baidu/Unlimited-OCR-2", trust_remote_code=True, use_safetensors=True, torch_dtype=torch.bfloat16); 여러 페이지는 페이지 순서대로 이미지 목록을 model.infer_multi(tokenizer, image_files=...)에 전달하고, 단일 페이지는 model.infer(...)을 사용하며, 기본 블록 분할은 gundam 모드입니다.
- 서비스 배포는 공식적으로 SGLang을 권장합니다: 공식 커스텀 SGLang 휠(0.5.20.dev10)과 PyMuPDF를 설치하고, 모델 카드에 따라 환경 변수를 설정합니다(기본값: 10페이지당 하나의 윈도우, 페이지당 출력 상한 20000 토큰). --chat-template unlimited-ocr로 실행한 후 OpenAI 호환 인터페이스를 사용합니다. PDF는 먼저 300 dpi로 이미지 변환합니다.
- 요청 시 temperature를 0로 설정하고, 예시에 따라 중복 방지를 위한 n-gram logit processor를 연결합니다(ngram_size 35, 다중 페이지 window_size 1024, 단일 페이지 128).
리스크
- trust_remote_code가 필요하며, SGLang은 커스텀 휠 설치가 필요합니다. 모델 카드에 매개변수 수량과 최소 메모리 요구 사항이 명시되어 있지 않으며, Transformers 경로는 A800-80GB 환경에서만 테스트되었습니다.
- 페이지 윈도우가 작을수록 메모리 사용량이 줄어들지만, 공식적으로 윈도우 경계를 넘는 콘텐츠는 컨텍스트가 손실될 수 있다고 설명합니다. SAM 어텐션 바이어스의 기본 설정은 메모리 오버플로를 유발할 수 있으므로, 모델 카드에 따라 64로 변경해야 합니다.
- '최고 성적'은 공식 자체 테스트 결과이며, 리더보드에는 이미지만 존재하고 검증 가능한 숫자 데이터가 없습니다.