Tiêu đề gốc: KORMo-VL/KORMo-Web-11B
Được phòng thí nghiệm MLP của KAIST tải lên vào ngày 14 tháng 11, dựa trên mô hình song ngữ Hàn-Anh KORMo-10B được huấn luyện trước từ đầu, sau đó mở rộng bằng KORMo-VL (thị giác SigLIP) và tiếp tục huấn luyện thành tác nhân web: cùng một mô hình có thể trò chuyện, xem ảnh, cũng như chỉ dựa vào ảnh chụp màn hình để điều khiển trình duyệt (22 loại hành động: nhấp chuột, nhập liệu, phím tắt, cuộn, kéo thả, chuyển tab, v.v.), mỗi bước đều viết phần suy nghĩ trước khi đưa ra hành động. Các tác giả cho biết đã sử dụng hơn 1,000 mẫu dữ liệu hiểu web và hơn 10 quỹ đạo thao tác song ngữ Hàn-Anh. Giấy phép Apache-2.0; phiên bản cùng dòng KORMo-Web-9B dựa trên Qwen chuyên biệt cho các tác vụ web.
Tại sao quan trọng Giữ nguyên khả năng trò chuyện và xem ảnh trong khi vẫn có thể điều khiển trình duyệt; các tác giả tuyên bố tỷ lệ thành công của tác vụ web tiếng Hàn là cao nhất trong số các mô hình mã nguồn mở được liệt kê trong bảng
Điểm tăng 70 · Lượt thích 77 · Lượt tải xuống 26
Lý do
- Các tác giả đã sử dụng cùng một mô hình để đánh giá trên 612 tác vụ trang web thực tế trong bộ dữ liệu Online-Mind2Web (gồm 300 tiếng Anh và 312 tiếng Hàn): tỷ lệ thành công tiếng Hàn là 30.1%, tiếng Anh là 29.0%; trong cùng bảng, UI-TARS-1.5-7B đạt 20.2% cho tiếng Hàn, Qwen3.5-9B đạt 16.7%
- Chỉ cần ảnh chụp màn hình, không yêu cầu DOM hoặc cây khả năng truy cập; kho lưu trữ kèm theo hướng dẫn định dạng tin nhắn đầy đủ HARNESS.md, 22 định nghĩa công cụ và tác nhân tham chiếu Playwright
- Có thể chạy trên một GPU duy nhất, cả transformers 5.12.1 và vLLM 0.23.0 đều cung cấp đường dẫn tải mô hình đã được các tác giả kiểm thử
Cách sử dụng
- transformers: Sau khi tải kho lưu trữ, trước tiên hãy import kormo_load và gọi kormo_load.register(đường_dẫn), sau đó tải AutoProcessor và AutoModelForImageTextToText, rồi gọi kormo_load.patch_vision(model) sau khi tải (nếu không gọi sẽ đọc sai ảnh chụp màn hình)
- vLLM: Sử dụng vllm/convert_to_vllm.py để chuyển đổi định dạng một lần, đặt PYTHONPATH trỏ đến thư mục vllm trong kho lưu trữ rồi chạy vllm serve; sau đó sử dụng examples/agent_playwright.py --task "..." để mở Chromium và thực hiện tác vụ
- Nhiệt độ khuyến nghị 0.6, top_p 0.95, top_k 20, bật chế độ suy nghĩ, tối đa 16 token mỗi bước và tối đa 50 bước (đã được thiết lập trong generation_config); tọa độ đầu ra là các giá trị chuẩn hóa từ 0 đến 1000
Rủi ro
- Tỷ lệ thành công tác vụ web khoảng 30%, chênh lệch lớn so với các mô hình mã nguồn đóng trong bảng (hơn 60%); các tác giả cho biết phiên bản chuyên dụng cùng dòng 4B / 9B có điểm số web cao hơn
- Chỉ hỗ trợ tiếng Hàn và tiếng Anh; tỷ lệ thành công được đánh giá tự động bởi GPT-6, không có sự xác minh của con người
- Việc để mô hình trực tiếp điều khiển trình duyệt có thể dẫn đến nhấp nhầm hoặc gửi nhầm, khuyến nghị chạy trong môi trường trình duyệt cách ly; tác nhân tham chiếu không thực hiện tải lên. Mục này chưa được chạy thử