KORMo-Web-11B: KAIST의 한영 이중 언어 웹 조작 에이전트

KAIST MLP 연구실이 11월 14일에 업로드한 모델로, 처음부터 사전 학습된 한영 모델 KORMo-10B를 기반으로 KORMo-VL(SigLIP 비전)을 통해 확장한 후 웹 에이전트로 재학습되었습니다. 하나의 모델로 대화, 이미지 인식은 물론 스크린샷만 보고 브라우저 조작(22가지 동작: 클릭, 입력, 단축키, 스크롤, 드래그, 탭 전환 등)이 가능하며, 각 단계에서 먼저 사고 과정을 작성한 후 동작을 출력합니다. 저자들은 1,000만 개 이상의 웹 이해 샘플과 10만 개 이상의 한영 조작 궤적을 사용했다고 밝혔습니다. Apache-2.0 라이선스; 같은 시리즈의 Qwen 기반 KORMo-Web-9B는 웹 작업에 특화되어 있습니다.

원제: KORMo-VL/KORMo-Web-11B

KAIST MLP 연구실이 11월 14일에 업로드한 모델로, 처음부터 사전 학습된 한영 모델 KORMo-10B를 기반으로 KORMo-VL(SigLIP 비전)을 통해 확장한 후 웹 에이전트로 재학습되었습니다. 하나의 모델로 대화, 이미지 인식은 물론 스크린샷만 보고 브라우저 조작(22가지 동작: 클릭, 입력, 단축키, 스크롤, 드래그, 탭 전환 등)이 가능하며, 각 단계에서 먼저 사고 과정을 작성한 후 동작을 출력합니다. 저자들은 1,000만 개 이상의 웹 이해 샘플과 10만 개 이상의 한영 조작 궤적을 사용했다고 밝혔습니다. Apache-2.0 라이선스; 같은 시리즈의 Qwen 기반 KORMo-Web-9B는 웹 작업에 특화되어 있습니다.

왜 중요한가 채팅 및 이미지 인식 기능을 유지하면서 브라우저 조작이 가능함; 저자들은 표에 있는 오픈 모델 중 한국어 웹 작업 성공률이 가장 높다고 주장함

상승 점수 70 · 좋아요 77 · 다운로드 수 26

이유

  • 저자들은 Online-Mind2Web의 612개 실제 웹사이트 작업(영어 300개, 한국어 312개)에서 동일한 모델로 평가함: 한국어 성공률 30.1%, 영어 29.0%; 같은 표의 UI-TARS-1.5-7B는 한국어 20.2%, Qwen3.5-9B는 16.7%
  • 스크린샷만 사용하며 DOM이나 접근성 트리가 필요 없음; 저장소에는 전체 메시지 형식 설명서 HARNESS.md, 22개 도구 정의 및 Playwright 참고 에이전트가 포함됨
  • 단일 GPU로 실행 가능하며, transformers 5.12.1과 vLLM 0.23.0 모두 저자가 테스트한 로드 경로를 제공함

사용법

  • transformers: 저장소를 다운로드한 후 먼저 kormo_load를 import하고 kormo_load.register(경로)를 호출한 뒤, AutoProcessor와 AutoModelForImageTextToText를 로드하고, 로드 후 kormo_load.patch_vision(model)을 호출해야 함(호출하지 않으면 스크린샷을 잘못 읽음)
  • vLLM: vllm/convert_to_vllm.py를 사용하여 형식을 한 번 변환한 후, PYTHONPATH를 저장소의 vllm 디렉토리로 설정하고 vllm serve를 실행함; 그 다음 examples/agent_playwright.py --task "..."를 사용하여 Chromium을 열고 작업을 수행하게 함
  • 권장 온도 0.6, top_p 0.95, top_k 20, 사고 모드 활성화, 각 단계당 최대 16k 토큰, 최대 50단계(generation_config에 이미 설정됨); 출력 좌표는 0–1000 범위의 정규화된 값임

위험 요소

  • 웹 작업 성공률이 약 30%로, 표에 있는 폐쇄형 모델(60% 이상)과 큰 격차가 있음; 저자들은 같은 시리즈의 4B / 9B 전용 버전이 더 높은 웹 점수를 기록한다고 언급함
  • 한국어와 영어만 지원됨; 성공률은 GPT-6로 자동 평가되었으며, 수동 검증은 없음
  • 모델이 직접 브라우저를 조작하면 실수로 클릭하거나 제출할 수 있으므로, 격리된 브라우저 환경에서 실행하는 것을 권장함; 참고 에이전트는 업로드를 실행하지 않음. 이 항목은 실행되지 않음

열기

Hugging Face Trending

최신 AI 소식 보기