Mirage: Mô hình thị giác nhỏ chạy trên thiết bị, xuất mô tả, phát hiện, phân đoạn và văn bản trong một lần xử lý

Mô hình thị giác nhỏ do Cactus Compute 11 công bố vào ngày 6, được hãng tuyên bố có 5130 triệu tham số, dung lượng khoảng 22 MB sau khi lượng tử hóa bằng định dạng 2 bit độc quyền của họ. Khi nhập một hình ảnh, mô hình trả về ngay lập tức một JSON có cấu trúc: mô tả cảnh, tên đối tượng và khung bao quanh, mặt nạ phân đoạn cho từng đối tượng, văn bản trong ảnh (kèm khung và độ tin cậy), các mối quan hệ giữa các đối tượng, đồng thời có thể thực hiện lựa chọn đơn theo các phương án bạn cung cấp hoặc điền vào biểu mẫu đơn giản; phần mô tả hỗ trợ tiếng Anh, Đức, Pháp, Tây Ban Nha, Ý, Hà Lan và Ba Lan. Thẻ mô hình (model card) khá ngắn gọn, chi tiết được lấy từ blog chính thức.

Nguồn gốc: Cactus-Compute/mirage

Mô hình thị giác nhỏ do Cactus Compute 11 công bố vào ngày 6, được hãng tuyên bố có 5130 triệu tham số, dung lượng khoảng 22 MB sau khi lượng tử hóa bằng định dạng 2 bit độc quyền của họ. Khi nhập một hình ảnh, mô hình trả về ngay lập tức một JSON có cấu trúc: mô tả cảnh, tên đối tượng và khung bao quanh, mặt nạ phân đoạn cho từng đối tượng, văn bản trong ảnh (kèm khung và độ tin cậy), các mối quan hệ giữa các đối tượng, đồng thời có thể thực hiện lựa chọn đơn theo các phương án bạn cung cấp hoặc điền vào biểu mẫu đơn giản; phần mô tả hỗ trợ tiếng Anh, Đức, Pháp, Tây Ban Nha, Ý, Hà Lan và Ba Lan. Thẻ mô hình (model card) khá ngắn gọn, chi tiết được lấy từ blog chính thức.

Tại sao quan trọng Việc tích hợp mô tả, phát hiện, phân đoạn, OCR và khả năng trả lời câu hỏi trắc nghiệm vào một mô hình nhỏ giúp điện thoại, kính thông minh và robot không cần phải kết nối nhiều mô hình riêng biệt

Điểm tăng 211 · Lượt thích 319 · Số lượt tải xuống 28553

Lý do

  • Hãng tuyên bố thời gian xử lý toàn bộ quy trình (end-to-end) trên Samsung Galaxy S26 là 74 mili giây (NPU) hoặc 107 mili giây (CPU), demo trên trang blog chạy trực tiếp trong trình duyệt cục bộ
  • Tên đối tượng được tạo bởi bộ giải mã ngôn ngữ, không bị giới hạn bởi bảng danh mục phát hiện cố định; các đối tượng, thuộc tính và mối quan hệ trong đầu ra có thể được đọc trực tiếp như một đồ thị cảnh (scene graph) nhỏ
  • Có thể cung cấp JSON của mô hình này cho các LLM chỉ xử lý văn bản để trả lời câu hỏi về hình ảnh: hãng sử dụng Qwen3-0.6B đạt 31.3 điểm trên 256 câu hỏi VQAv2, trong khi kết quả với các hình ảnh khác chỉ là 22.2 điểm
  • Trọng số và mã nguồn đều theo giấy phép Apache-2.0

Cách sử dụng

  • pip install -U cactus-compute, sau đó import cactus; cactus.Mirage().describe("photo.jpg"); lần gọi đầu tiên sẽ tự động tải về engine và trọng số
  • Hàm describe cho phép dùng sections=["objects", "text"], fields=["bbox", "score", "mask"], mask_format="polygons" để chỉ lấy các phần cần thiết, language="de" để thay đổi ngôn ngữ mô tả; tọa độ khung là tương đối so với hình ảnh trong khoảng 0–1000
  • Để thực hiện phán đoán: vision.extract("photo.jpg", {"sign": {"enum": ["stop", "yield", "speed limit"]}}) trả về mục được chọn và xác suất của từng phương án; ứng dụng gốc sử dụng cactus_load để nạp mirage.cact, cactus_describe để truyền dữ liệu pixel RGB

Rủi ro

  • Tốc độ và điểm VQA đều do hãng tự kiểm tra; hãng cũng ghi rõ rằng việc thêm quá trình suy luận (trace) không cải thiện ổn định điểm VQA (không có trace là 33.1), và việc chuyển sang mô hình ngôn ngữ lớn hơn cũng không mang lại lợi ích nhất quán
  • Trong ví dụ chính thức, OCR đọc sai dấu trọng âm trên biển báo giao thông, điểm phát hiện nằm trong khoảng 0.56–0.64; quá trình suy luận trong đầu ra là văn bản được sinh ra, có thể chứa lỗi suy diễn
  • Cần sử dụng engine độc quyền của Cactus và định dạng .cact để chạy, đây không phải là mô hình transformers, hiện chưa hỗ trợ ComfyUI; mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất