KORMo-Web-11B:KAIST の韓国語・英語バイリンガル Web 操作エージェント

KAIST MLP ラボが 11 月 14 日に公開。同ラボがゼロから事前学習した韓国語・英語モデル KORMo-10B を基盤とし、KORMo-VL(SigLIP ビジョン)で拡張した後、Web エージェントとして再訓練しました。同一のモデルで会話や画像認識が可能であり、さらにスクリーンショットのみを見てブラウザを操作することもできます(クリック、入力、ショートカットキー、スクロール、ドラッグ、タブ切り替えなど 22 種類のアクションに対応)。各ステップではまず思考を記述してからアクションを実行します。著者によれば、Web 理解サンプルを 1,000 万件以上、韓国語・英語の操作軌跡を 10 万件以上使用したとのことです。ライセンスは Apache-2.0 です。同シリーズには Qwen ベースで Web タスクに特化した KORMo-Web-9B もあります。

原題:KORMo-VL/KORMo-Web-11B

KAIST MLP ラボが 11 月 14 日に公開。同ラボがゼロから事前学習した韓国語・英語モデル KORMo-10B を基盤とし、KORMo-VL(SigLIP ビジョン)で拡張した後、Web エージェントとして再訓練しました。同一のモデルで会話や画像認識が可能であり、さらにスクリーンショットのみを見てブラウザを操作することもできます(クリック、入力、ショートカットキー、スクロール、ドラッグ、タブ切り替えなど 22 種類のアクションに対応)。各ステップではまず思考を記述してからアクションを実行します。著者によれば、Web 理解サンプルを 1,000 万件以上、韓国語・英語の操作軌跡を 10 万件以上使用したとのことです。ライセンスは Apache-2.0 です。同シリーズには Qwen ベースで Web タスクに特化した KORMo-Web-9B もあります。

なぜ重要か チャットや画像認識の能力を維持しつつブラウザ操作が可能。著者によれば、表内のオープンモデルの中で韓国語の Web タスク成功率が最高です

上昇スコア 70 · いいね数 77 · ダウンロード数 26

理由

  • 著者は Online-Mind2Web の 612 個の実際の Web サイトタスク(英語 300、韓国語 312)において同一モデルで評価しました。韓国語の成功率は 30.1%、英語は 29.0% です。同表内の UI-TARS-1.5-7B の韓国語成功率は 20.2%、Qwen3.5-9B は 16.7% です
  • スクリーンショットのみを使用し、DOM やアクセシビリティツリーは不要です。リポジトリには完全なメッセージ形式の説明 HARNESS.md、22 個のツール定義、および Playwright 参照エージェントが含まれています
  • 単一 GPU で動作可能で、transformers 5.12.1 と vLLM 0.23.0 の両方について、著者がテスト済みの読み込みパスが提供されています

使い方

  • transformers:リポジトリをダウンロード後、まず kormo_load をインポートし kormo_load.register(パス) を実行してから、AutoProcessor と AutoModelForImageTextToText を読み込みます。読み込み後に kormo_load.patch_vision(model) を呼び出してください(呼び出さないとスクリーンショットを誤って解釈します)
  • vLLM:vllm/convert_to_vllm.py で一度形式を変換し、PYTHONPATH をリポジトリの vllm ディレクトリに向けることで vllm serve が利用可能になります。その後、examples/agent_playwright.py --task "..." を使用して Chromium を起動しタスクを実行させます
  • 推奨設定は温度 0.6、top_p 0.95、top_k 20 で思考モードを有効化します。各ステップで最大 16k トークン、最大 50 ステップまでです(generation_config に設定済み)。出力される座標は 0–1000 の正規化値です

リスク

  • Web タスクの成功率は約 3 割で、表内のクローズドソースモデル(6 割以上)との差が大きい点に注意が必要です。著者によれば、同シリーズの 4B / 9B 専用版の方が Web スコアは高いとのことです
  • 韓国語と英語のみに対応しています。成功率は GPT-6 による自動評価であり、人手による検証はありません
  • モデルにブラウザを直接操作させると誤クリックや誤送信が発生する可能性があるため、隔離されたブラウザ環境での実行を推奨します。参照エージェントはアップロードを実行しません。本項目は未実行です

開く

Hugging Face Trending

最新の AI ニュースを見る