原题:KORMo-VL/KORMo-Web-11B
KAIST MLP 实验室 11 月 14 日上传,基于他们从零预训练的韩英模型 KORMo-10B,经 KORMo-VL(SigLIP 视觉)扩展后再训练成网页智能体:同一个模型能对话、看图,也能只看截图操作浏览器(22 种动作:点击、输入、快捷键、滚动、拖动、切换标签等),每步先写思考再出动作。作者称用了 1,000 万条以上网页理解样本和 10 万条以上韩英操作轨迹。Apache-2.0 许可;同系列基于 Qwen 的 KORMo-Web-9B 专攻网页任务。
为什么重要 保留聊天和看图能力的同时会操作浏览器;作者称韩语网页任务成功率在表中开放模型里最高
上升分 70 · 点赞 77 · 下载量 26
理由
- 作者在 Online-Mind2Web 的 612 个真实网站任务(英 300、韩 312)上用同一个模型评判:韩语成功率 30.1%、英语 29.0%;同表 UI-TARS-1.5-7B 韩语 20.2%、Qwen3.5-9B 16.7%
- 只看截图,不需要 DOM 或无障碍树;仓库附完整消息格式说明 HARNESS.md、22 个工具定义和 Playwright 参考代理
- 单卡可跑,transformers 5.12.1 和 vLLM 0.23.0 都给了作者测过的加载路径
用法
- transformers:下载仓库后先 import kormo_load 并 kormo_load.register(路径),再加载 AutoProcessor 和 AutoModelForImageTextToText,加载后调用 kormo_load.patch_vision(model)(不调用会读错截图)
- vLLM:用 vllm/convert_to_vllm.py 转一次格式,PYTHONPATH 指向仓库的 vllm 目录后 vllm serve;再用 examples/agent_playwright.py --task "..." 让它打开 Chromium 做任务
- 推荐温度 0.6、top_p 0.95、top_k 20,开思考,每步最多 16k token、最多 50 步(generation_config 已设好);输出坐标是 0–1000 的归一化值
风险
- 网页任务成功率约三成,和表中闭源模型(六成以上)差距大;作者说同系列 4B / 9B 专用版网页分数更高
- 只支持韩语和英语;成功率由 GPT-6 自动评判,没有人工核对
- 让模型直接操作浏览器可能误点、误提交,建议在隔离的浏览器环境里跑;参考代理不执行上传。本条未运行