Mirage:エッジデバイス向け小型視覚モデル、一度で説明、検出、セグメンテーション、テキスト抽出を実現

Cactus Computeが11月6日に公開した小型視覚モデル。公式によれば、パラメータ数は5130万、自社製の2ビット量子化を適用するとサイズは約22MB。画像を1枚入力すると、構造化されたJSON形式で一度に返答する。内容は、シーン記述、物体名とバウンディングボックス、各物体のセグメンテーションマスク、画像内のテキスト(バウンディングボックスと信頼度付き)、物体間の関係性に加え、指定した選択肢に基づく単一選択の判定や簡易フォームへの記入も可能。記述は英語、ドイツ語、フランス語、スペイン語、イタリア語、オランダ語、ポーランド語に対応。モデルカード自体は簡潔で、詳細は公式ブログに記載されている。

原題:Cactus-Compute/mirage

Cactus Computeが11月6日に公開した小型視覚モデル。公式によれば、パラメータ数は5130万、自社製の2ビット量子化を適用するとサイズは約22MB。画像を1枚入力すると、構造化されたJSON形式で一度に返答する。内容は、シーン記述、物体名とバウンディングボックス、各物体のセグメンテーションマスク、画像内のテキスト(バウンディングボックスと信頼度付き)、物体間の関係性に加え、指定した選択肢に基づく単一選択の判定や簡易フォームへの記入も可能。記述は英語、ドイツ語、フランス語、スペイン語、イタリア語、オランダ語、ポーランド語に対応。モデルカード自体は簡潔で、詳細は公式ブログに記載されている。

なぜ重要か 説明、検出、セグメンテーション、OCR、選択問題の判定を1つの小型モデルに統合したため、スマートフォン、スマートグラス、ロボットなどで複数のモデルを連携させる必要がなくなる

上昇スコア 211 · いいね 319 · ダウンロード数 28553

理由

  • 公式によれば、Samsung Galaxy S26において、NPU使用時はエンドツーエンドで74ミリ秒、CPU使用時は107ミリ秒で動作。ブログページのデモはブラウザ上でローカル実行されている
  • 物体名は言語デコーダによって生成されるため、固定された検出カテゴリ表に限定されない。出力に含まれる物体、属性、関係性は、小さなシーングラフとして直接フィールドを読み取れる
  • このJSONをテキストのみを読む大規模言語モデルに渡すことで、画像に関する質問に回答できる。公式ではQwen3-0.6Bを用いて256問のVQAv2で31.3点を獲得したが、別の画像での記録は22.2点にとどまった
  • 重みとコードはApache-2.0ライセンス

使い方

  • pip install -U cactus-computeを実行し、import cactus; cactus.Mirage().describe("photo.jpg")を呼び出す。初回呼び出し時にエンジンと重みが自動的にダウンロードされる
  • describeでは、sections=["objects", "text"]、fields=["bbox", "score", "mask"]、mask_format="polygons"を指定して必要な部分のみを取得可能。language="de"で記述言語を変更できる。バウンディングボックスの座標は画像に対する相対値で、0~1000の範囲
  • 判定タスク:vision.extract("photo.jpg", {"sign": {"enum": ["stop", "yield", "speed limit"]}})を実行すると、選択された項目と各選択肢の確率が返される。ネイティブアプリではcactus_loadでmirage.cactを読み込み、cactus_describeにRGBピクセルデータを渡す

リスク

  • 速度とVQAスコアは公式による自己測定値。公式も、推論過程(trace)を追加してもVQA性能は安定して向上しない(traceなしで33.1)と明記しており、より大きなテキストモデルに変更しても一貫した改善は見られない
  • 公式の例では、OCRが道路標識のアクセント記号を誤読し、検出スコアは0.56~0.64の範囲。出力に含まれる推論過程は生成テキストであり、推論エラーが含まれる可能性がある
  • 実行にはCactus独自のエンジンと.cact形式が必要で、transformersモデルではない。現時点でComfyUIには対応していない。本項目は未実行

開く

Hugging Face Trending

最新の AI ニュースを見る