Оригинальное название: Cactus-Compute/mirage
Компактная визуальная модель от Cactus Compute, выпущенная 11 6, официально заявлена как имеющая 5130 млн параметров и занимающая около 22 МБ после квантования до 2 бит с использованием их собственного метода. При подаче одного изображения она за один проход возвращает структурированный JSON: описание сцены, названия объектов и ограничивающие рамки, маски сегментации для каждого объекта, текст на изображении (с рамками и уровнем уверенности), отношения между объектами, а также может выполнять выбор из предложенных вариантов или заполнять простые формы; описания поддерживаются на английском, немецком, французском, испанском, итальянском, нидерландском и польском языках. Сама карточка модели очень короткая, детали взяты из официального блога.
Почему это важно Объединение описания, детекции, сегментации, OCR и выбора ответа в одной компактной модели позволяет не использовать цепочку из нескольких моделей на смартфонах, очках дополненной реальности и роботах
Рост рейтинга 211 · Лайки 319 · Количество загрузок 28553
Причины
- Официально заявлено время выполнения end-to-end в 74 мс (NPU) или 107 мс (CPU) на Samsung Galaxy S26, демонстрация на странице блога работает локально в браузере
- Названия объектов генерируются языковым декодером и не ограничены фиксированным списком категорий детекции; объекты, атрибуты и отношения в выводе можно рассматривать как небольшую графовую структуру сцены (scene graph) для прямого чтения полей
- Её JSON можно передать текстовой большой модели для ответа на вопросы об изображении: официально модель Qwen3-0.6B набрала 31.3 баллов на 256 вопросах из набора VQAv2, но при замене на другие изображения результат составил всего 22.2 баллов
- Веса и код распространяются под лицензией Apache-2.0
Использование
- Выполните pip install -U cactus-compute, затем import cactus; cactus.Mirage().describe("photo.jpg"); при первом вызове движок и веса будут загружены автоматически
- В методе describe можно использовать параметры sections=["objects", "text"], fields=["bbox", "score", "mask"], mask_format="polygons" для получения только нужных данных, а language="de" для смены языка описания; координаты рамок задаются относительно изображения в диапазоне 0–1000
- Для выполнения задач классификации: vision.extract("photo.jpg", {"sign": {"enum": ["stop", "yield", "speed limit"]}}) возвращает выбранный вариант и вероятности для каждого варианта; в нативных приложениях используйте cactus_load для загрузки mirage.cact и cactus_describe для передачи RGB-пикселей
Риски
- Скорость работы и баллы VQA получены в ходе собственных тестов разработчика; официально указано, что добавление процесса рассуждений (trace) не приводит к стабильному улучшению результатов VQA (без trace составляет 33.1), а использование более крупной текстовой модели также не дает последовательного прироста
- В официальных примерах OCR неправильно распознает ударения на дорожных знаках, а баллы детекции находятся в диапазоне 0.56–0.64; процесс рассуждений в выводе является генерируемым текстом и может содержать ошибки логического вывода
- Для работы требуется собственный движок Cactus и формат .cact, это не модель для transformers, поддержка ComfyUI пока отсутствует; данная запись не была проверена на выполнение