Оригинальное название: KORMo-VL/KORMo-Web-11B
Загружено лабораторией MLP KAIST 11 14 на основе их корейско-английской модели KORMo-10B, обученной с нуля. После расширения до KORMo-VL (визуальная часть SigLIP) модель была дообучена как веб-агент: одна и та же модель может вести диалог, анализировать изображения и управлять браузером, опираясь только на скриншоты (поддерживается 22 типов действий: клики, ввод текста, горячие клавиши, прокрутка, перетаскивание, переключение вкладок и т.д.). На каждом шаге модель сначала генерирует рассуждения, а затем выдает действие. Авторы сообщают об использовании более 1,000 тысяч примеров для понимания веб-страниц и более 10 тысяч корейско-английских траекторий действий. Лицензия Apache-2.0; в той же серии модель KORMo-Web-9B на базе Qwen специально оптимизирована для веб-задач.
Почему это важно Сохраняет возможности чата и анализа изображений, одновременно умея управлять браузером; по заявлению авторов, модель демонстрирует самый высокий процент успешного выполнения корейских веб-задач среди открытых моделей в таблице.
Рост рейтинга: 70 · Лайки: 77 · Загрузки: 26
Обоснование
- Авторы оценивали модель на 612 реальных веб-сайтах в бенчмарке Online-Mind2Web (из них 300 на английском и 312 на корейском), используя одну и ту же модель для оценки: процент успеха на корейском языке составил 30.1%, на английском — 29.0%; в той же таблице у UI-TARS-1.5-7B результат на корейском составляет 20.2%, а у Qwen3.5-9B — 16.7%.
- Работает только со скриншотами, не требует доступа к DOM или дереву доступности; в репозитории есть полное описание формата сообщений HARNESS.md, определения 22 инструментов и эталонный агент на базе Playwright.
- Можно запустить на одной видеокарте; авторы предоставили проверенные пути загрузки как для transformers 5.12.1, так и для vLLM 0.23.0.
Использование
- transformers: после клонирования репозитория сначала импортируйте kormo_load и вызовите kormo_load.register(путь), затем загрузите AutoProcessor и AutoModelForImageTextToText. После загрузки обязательно вызовите kormo_load.patch_vision(model) (без этого шага скриншоты будут считаны некорректно).
- vLLM: сначала преобразуйте формат с помощью скрипта vllm/convert_to_vllm.py, затем запустите vllm serve, указав в PYTHONPATH каталог vllm из репозитория. Для выполнения задач используйте examples/agent_playwright.py --task "...", чтобы агент открыл Chromium и выполнил задание.
- Рекомендуемые параметры: температура 0.6, top_p 0.95, top_k 20; включите режим рассуждений, установите лимит в 16 тыс. токенов на шаг и максимум 50 шагов (эти значения уже заданы в generation_config); выходные координаты представляют собой нормализованные значения в диапазоне от 0 до 1000.
Риски
- Процент успешного выполнения веб-задач составляет около 30%, что значительно ниже показателей закрытых моделей из таблицы (более 60%); авторы отмечают, что специализированные версии той же серии 4B / 9B показывают более высокие результаты в веб-задачах.
- Поддерживаются только корейский и английский языки; оценка успешности выполняется автоматически с помощью GPT-6, без ручной проверки.
- Прямое управление браузером моделью может привести к ошибочным кликам или отправке форм, поэтому рекомендуется запускать агента в изолированной браузерной среде; эталонный агент не выполняет операции загрузки файлов. Данный пункт не был протестирован авторами перевода.