Mirage : petit modèle de vision côté appareil, générant en une seule passe descriptions, détections, segmentations et textes

Petit modèle de vision publié par Cactus Compute le 11 6, officiellement décrit comme ayant 5130 millions de paramètres et pesant environ 22 Mo après quantification 2 bits par leur propre méthode. En entrée, une image unique, il renvoie en une seule fois un JSON structuré : description de la scène, noms des objets et boîtes englobantes, masques de segmentation pour chaque objet, texte dans l'image (avec boîtes et scores de confiance), relations entre les objets, et il peut également effectuer des choix uniques selon les options fournies ou remplir des formulaires simples ; les descriptions sont disponibles en anglais, allemand, français, espagnol, italien, néerlandais et polonais. La fiche du modèle elle-même est très courte, les détails proviennent du blog officiel.

Titre original : Cactus-Compute/mirage

Petit modèle de vision publié par Cactus Compute le 11 6, officiellement décrit comme ayant 5130 millions de paramètres et pesant environ 22 Mo après quantification 2 bits par leur propre méthode. En entrée, une image unique, il renvoie en une seule fois un JSON structuré : description de la scène, noms des objets et boîtes englobantes, masques de segmentation pour chaque objet, texte dans l'image (avec boîtes et scores de confiance), relations entre les objets, et il peut également effectuer des choix uniques selon les options fournies ou remplir des formulaires simples ; les descriptions sont disponibles en anglais, allemand, français, espagnol, italien, néerlandais et polonais. La fiche du modèle elle-même est très courte, les détails proviennent du blog officiel.

Pourquoi c'est important Intégrer la description, la détection, la segmentation, l'OCR et la résolution de questions à choix multiples dans un petit modèle permet aux smartphones, lunettes et robots de ne plus avoir à chaîner plusieurs modèles

Score de progression 211 · J'aime 319 · Téléchargements 28553

Raisons

  • Officiellement, le temps de bout en bout est de 74 millisecondes (NPU) ou 107 millisecondes (CPU) sur un Samsung Galaxy S26, et la démonstration sur la page du blog s'exécute directement en local dans le navigateur
  • Les noms des objets sont générés par un décodeur de langage, sans être limités à une table fixe de catégories de détection ; les objets, attributs et relations dans la sortie peuvent être lus directement comme un petit graphe de scène
  • Son JSON peut être transmis à un grand modèle de langage textuel pour répondre à des questions sur l'image : officiellement, Qwen3-0.6B obtient un score de 31.3 sur 256 questions VQAv2, tandis que le score tombe à seulement 22.2 avec d'autres images
  • Les poids et le code sont sous licence Apache-2.0

Utilisation

  • pip install -U cactus-compute, puis import cactus; cactus.Mirage().describe("photo.jpg") ; le premier appel télécharge automatiquement le moteur et les poids
  • La fonction describe permet d'utiliser sections=["objects", "text"], fields=["bbox", "score", "mask"], mask_format="polygons" pour ne récupérer que les parties nécessaires, et language="de" pour changer la langue de la description ; les coordonnées des boîtes sont relatives à l'image, entre 0 et 1000
  • Pour la prise de décision : vision.extract("photo.jpg", {"sign": {"enum": ["stop", "yield", "speed limit"]}}) renvoie l'option sélectionnée et les probabilités de chaque option ; pour les applications natives, utilisez cactus_load pour charger mirage.cact et cactus_describe pour passer les pixels RGB

Risques

  • La vitesse et les scores VQA sont des auto-évaluations officielles ; les officiels précisent également que l'ajout d'un processus de raisonnement (trace) n'améliore pas de manière stable le score VQA (sans trace, le score est de 33.1), et passer à un modèle de langage plus grand n'apporte pas non plus de gains cohérents
  • Dans les exemples officiels, l'OCR lit incorrectement les accents sur les panneaux de signalisation, et les scores de détection se situent entre 0.56 et 0.64 ; le processus de raisonnement dans la sortie est du texte généré, susceptible de contenir des erreurs d'inférence
  • Il faut utiliser le moteur propriétaire de Cactus et le format .cact pour l'exécution, ce n'est pas un modèle transformers, et il n'y a actuellement pas de support ComfyUI ; cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA