Tencent WeChat Visionチームによる、Qwen3-VLに基づく統一視覚知覚モデル：単一のモデルがテキストプロンプトを用いて、オープンボキャブラリ検出、参照定位、カウント、ポインティング、OCR定位、およびピクセルレベルの参照セグメンテーションとプロンプト可能マット抽出（alpha matting）を実行します。
上昇スコア 65 · いいね 67 · ダウンロード数 3786
理由
- ボックスと点は、専用の座標トークン（\u003c0\u003e から \u003c1000\u003e、正規化座標）を用いて直接生成され、対象が存在しない場合は None を返します。密なタスクでは、各ボックスの後にインスタンストークンを出力し、9.6M パラメータを持つピクセルデコーダが全解像度のアルファマスクを生成します。
- 検出、セグメンテーション、マット抽出はすべて同一の predict インターフェースを通じて行われ、task パラメータで切り替え、query で検索対象のオブジェクトを指定します。
- 論文とプロジェクトページがあります。10 月 22 日に公開され、それ以前の号には収録されていませんでした。上昇スコア 65 は単に関心度を表すものです。
使い方
- GitHub の Tencent/WeVisOne-VL から推論パッケージをインストールした後：model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")；result = model.predict(image, task="matting", query="person", temperature=0.0) とし、result.masks がマスクです。
- リポジトリ内の mask_decoder.pt は必須コンポーネントであり、メインの重みファイルと同じ場所に配置する必要があります。
リスク
- モデルカードには評価スコア、メモリ要件、完全な task 名の一覧が記載されておらず、matting の例のみが示されています。
- 公式によると、細いエッジは解像度、激しい遮蔽、透明なオブジェクト、プロンプトの表現に敏感です。単一ターン・単一画像のみをサポートし、動画はピクセルデコーダによって拒否されます。研究用途に限定されており、個人識別には使用されません。
- ピクセルデコーダは .pt 形式（pickle を含む可能性あり）です。読み込み前に、公式リポジトリ由来であることを確認してください。