Mô hình nhận thức thị giác thống nhất của đội ngũ thị giác WeChat thuộc Tencent, dựa trên Qwen3-VL: một mô hình duy nhất sử dụng lời nhắc bằng văn bản để hoàn thành các tác vụ phát hiện từ vựng mở, định vị chỉ định, đếm, chỉ điểm, định vị OCR, cũng như phân đoạn chỉ định ở cấp độ pixel và cắt ảnh có thể ra lệnh (alpha matting).
Điểm tăng 65 · Lượt thích 67 · Lượt tải 3786
Lý do
- Khung và điểm được tạo trực tiếp bằng các token tọa độ chuyên dụng (từ <0> đến <1000>, tọa độ chuẩn hóa), trả về None khi đối tượng không tồn tại; đối với các tác vụ dày đặc, token thể hiện được xuất ra sau mỗi khung, sau đó một bộ giải mã pixel với 9.6M tham số sẽ tạo ra mặt nạ alpha ở độ phân giải đầy đủ.
- Các tác vụ phát hiện, phân đoạn và cắt ảnh đều đi qua cùng một giao diện predict, chuyển đổi bằng tham số task và sử dụng query để chỉ định đối tượng cần tìm.
- Có bài báo và trang dự án; được công bố vào ngày 22 tháng 10, trước đó chưa được liệt kê trong các kỳ trước. Điểm tăng 65 chỉ phản ánh mức độ quan tâm.
Cách sử dụng
- Sau khi cài đặt gói suy luận từ GitHub Tencent/WeVisOne-VL: model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16"); result = model.predict(image, task="matting", query="person", temperature=0.0), trong đó result.masks là các mặt nạ.
- File mask_decoder.pt trong kho lưu trữ là thành phần bắt buộc và phải được đặt cùng với trọng số chính.
Rủi ro
- Thẻ mô hình không cung cấp bất kỳ điểm đánh giá nào, yêu cầu bộ nhớ VRAM hay danh sách đầy đủ các tên task, chỉ đưa ra một ví dụ duy nhất cho tác vụ matting.
- Nhà phát triển chính thức cho biết các cạnh chi tiết nhạy cảm với độ phân giải, sự che khuất nghiêm trọng, các vật thể trong suốt và cách diễn đạt của lời nhắc; chỉ hỗ trợ một lượt với một hình ảnh, video sẽ bị bộ giải mã pixel từ chối; được định vị cho mục đích nghiên cứu, không dùng để nhận dạng danh tính cá nhân.
- Bộ giải mã pixel ở định dạng .pt (có thể chứa pickle), hãy xác nhận nguồn gốc từ kho lưu trữ chính thức trước khi tải.