원제: Cactus-Compute/mirage
Cactus Compute가 11월 6일에 공개한 소형 비전 모델로, 공식적으로 5130만 파라미터 규모이며 자체 개발한 2비트 양자화 적용 시 약 22MB라고 밝혔습니다. 이미지 한 장을 입력하면 구조화된 JSON 형식으로 장면 설명, 물체 이름 및 바운딩 박스, 각 물체의 분할 마스크, 이미지 내 텍스트(박스 및 신뢰도 포함), 물체 간 관계를 한 번에 반환하며, 제공된 선택지를 바탕으로 단일 선택 판단이나 간단한 양식 작성도 가능합니다. 설명 기능은 영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 네덜란드어, 폴란드어를 지원합니다. 모델 카드 자체는 매우 짧으며, 세부 사항은 공식 블로그에서 확인했습니다.
중요성 설명, 감지, 분할, OCR 및 객관식 판단을 하나의 소형 모델로 통합하여 스마트폰, 안경형 디바이스, 로봇 등에서 여러 모델을 연쇄적으로 사용할 필요가 없음
상승 점수 211 · 좋아요 319 · 다운로드 수 28553
이유
- 공식 발표에 따르면 삼성 Galaxy S26에서 엔드투엔드 처리 시간이 NPU 기준 74밀리초, CPU 기준 107밀리초이며, 블로그 페이지의 데모는 브라우저에서 로컬로 직접 실행됩니다
- 물체 이름은 언어 디코더를 통해 생성되므로 고정된 감지 카테고리 표에 제한되지 않으며, 출력 결과의 물체, 속성 및 관계를 작은 장면 그래프(scene graph)로 간주하여 필드를 직접 읽을 수 있습니다
- 이 모델의 JSON 출력을 텍스트 전용 대형 언어 모델에 전달하여 이미지 질문에 답변할 수 있습니다. 공식적으로 Qwen3-0.6B 모델을 사용하여 256개의 VQAv2 질문에서 31.3점을 획득했으며, 다른 이미지로 교체한 경우 기록은 22.2점에 불과했습니다
- 가중치와 코드 모두 Apache-2.0 라이선스를 따릅니다
사용법
pip install -U cactus-compute를 실행한 후import cactus; cactus.Mirage().describe("photo.jpg")를 사용합니다. 첫 번째 호출 시 엔진과 가중치가 자동으로 다운로드됩니다describe함수에서sections=["objects", "text"],fields=["bbox", "score", "mask"],mask_format="polygons"를 지정하여 필요한 부분만 추출할 수 있으며,language="de"로 설명 언어를 변경할 수 있습니다. 바운딩 박스 좌표는 이미지에 대한 상대적 값으로 0–1000 범위를 가집니다- 판단 작업 수행:
vision.extract("photo.jpg", {"sign": {"enum": ["stop", "yield", "speed limit"]}})를 호출하면 선택된 항목과 각 선택지의 확률이 반환됩니다. 네이티브 애플리케이션에서는cactus_load로mirage.cact파일을 로드하고,cactus_describe에 RGB 픽셀 데이터를 전달합니다
리스크
- 속도와 VQA 점수는 모두 공식 자체 테스트 결과입니다. 공식 문서에도 추론 과정(trace)을 포함할 경우 VQA 성능이 안정적으로 향상되지 않으며(추론 과정 제외 시 33.1점), 더 큰 텍스트 모델을 사용해도 일관된 이점이 없음이 명시되어 있습니다
- 공식 예제에서 OCR이 도로 표지판의 악센트 부호를 잘못 인식했으며, 감지 점수는 0.56–0.64 범위입니다. 출력 결과의 추론 과정은 생성된 텍스트이므로 추론 오류가 발생할 수 있습니다
- Cactus 자체 엔진과
.cact형식으로만 실행할 수 있으며,transformers모델이 아니고 현재 ComfyUI 지원이 없습니다. 본 항목은 실제로 실행되지 않았습니다