Mirage:端侧小视觉模型,一次出描述、检测、分割和文字

Cactus Compute 11 月 6 日发布的小视觉模型,官方称 5130 万参数、用自家 2 位量化后约 22 MB。输入一张图,它一次返回结构化 JSON:场景描述、物体名称和框、每个物体的分割掩码、图中文字(带框和置信度)、物体之间的关系,还能按你给的选项做单选判断或填简单表单;描述支持英、德、法、西、意、荷、波兰语。模型卡本身很短,细节来自官方博客。

原题:Cactus-Compute/mirage

Cactus Compute 11 月 6 日发布的小视觉模型,官方称 5130 万参数、用自家 2 位量化后约 22 MB。输入一张图,它一次返回结构化 JSON:场景描述、物体名称和框、每个物体的分割掩码、图中文字(带框和置信度)、物体之间的关系,还能按你给的选项做单选判断或填简单表单;描述支持英、德、法、西、意、荷、波兰语。模型卡本身很短,细节来自官方博客。

为什么重要 把描述、检测、分割、OCR 和选择题判断放进一个小模型,手机、眼镜、机器人上不用串多个模型

上升分 211 · 点赞 319 · 下载量 28553

理由

  • 官方称在三星 Galaxy S26 上端到端 74 毫秒(NPU)或 107 毫秒(CPU),博客页面的演示直接在浏览器本地运行
  • 物体名称由语言解码器生成,不限于固定的检测类别表;输出里的物体、属性和关系可以当作一个小场景图直接读字段
  • 可把它的 JSON 交给只读文字的大模型回答图片问题:官方用 Qwen3-0.6B 在 256 道 VQAv2 题上得 31.3 分,换成别的图的记录只有 22.2 分
  • 权重和代码都是 Apache-2.0

用法

  • pip install -U cactus-compute,然后 import cactus; cactus.Mirage().describe("photo.jpg");第一次调用会自动下载引擎和权重
  • describe 可用 sections=["objects", "text"]、fields=["bbox", "score", "mask"]、mask_format="polygons" 只取需要的部分,language="de" 改描述语言;框坐标是相对图片的 0–1000
  • 做判断:vision.extract("photo.jpg", {"sign": {"enum": ["stop", "yield", "speed limit"]}}) 返回选中项和各选项概率;原生应用用 cactus_load 加载 mirage.cact、cactus_describe 传 RGB 像素

风险

  • 速度和 VQA 分数都是官方自测;官方也写明加上推理过程(trace)后 VQA 没有稳定提升(不带 trace 为 33.1),换更大的文字模型也没有一致收益
  • 官方示例里 OCR 把路牌上的重音读错,检测分数在 0.56–0.64;输出里的推理过程是生成文本,可能有推断错误
  • 要用 Cactus 自家引擎和 .cact 格式运行,不是 transformers 模型,暂无 ComfyUI 支持;本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态