텐센트 위챗 비전 팀이 Qwen3-VL을 기반으로 개발한 통합 시각 인식 모델: 하나의 모델로 텍스트 프롬프트를 통해 개방형 어휘 검출, 지시 대상 위치 지정, 개수 세기, 포인트 지정, OCR 위치 지정 및 픽셀 단위 지시 분할과 프롬프트 기반 알파 매트링(alpha matting)을 수행합니다.
상승 점수 65 · 좋아요 67 · 다운로드 수 3786
이유
- 박스와 점은 전용 좌표 토큰(<0>부터 <1000>까지, 정규화된 좌표)을 사용하여 직접 생성되며, 대상이 존재하지 않으면 None을 반환합니다. 밀집 작업의 경우 각 박스 뒤에 인스턴스 토큰을 출력한 후, 9.6M 파라미터를 가진 픽셀 디코더가 전체 해상도의 알파 마스크를 생성합니다.
- 검출, 분할, 매트링은 동일한 predict 인터페이스를 사용하며, task 파라미터로 전환하고 query에 찾고자 하는 객체를 입력합니다.
- 논문과 프로젝트 페이지가 있습니다. 10월 22일에 공개되었으며, 이전 호에서는 다루지 않았습니다. 상승 점수 65는 단지 관심도를 나타냅니다.
사용법
- GitHub의 Tencent/WeVisOne-VL에서 추론 패키지를 설치한 후: model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16") ; result = model.predict(image, task="matting", query="person", temperature=0.0)이며, result.masks가 마스크입니다.
- 저장소의 mask_decoder.pt는 필수 구성 요소로, 메인 가중치 파일과 함께 배치해야 합니다.
리스크
- 모델 카드에는 평가 점수, 메모리 요구 사항 및 전체 task 이름 목록이 전혀 없으며, matting에 대한 예시만 제공됩니다.
- 공식 문서에서는 얇은 가장자리가 해상도, 심한 가림, 투명 객체 및 프롬프트 표현 방식에 민감하다고 명시합니다. 단일 라운드 및 단일 이미지 입력만 지원되며, 영상은 픽셀 디코더에서 거부됩니다. 연구 목적으로 위치하며 개인 식별에는 사용하지 않습니다.
- 픽셀 디코더는 .pt 형식(피클 포함 가능)이므로, 로드하기 전에 공식 저장소에서 가져온 파일인지 확인하십시오.