Единая модель визуального восприятия от команды WeChat Vision компании Tencent, основанная на Qwen3-VL: одна модель с текстовыми подсказками выполняет детектирование с открытым словарем, локализацию по описанию, подсчет объектов, указание на объекты, локализацию текста (OCR), а также сегментацию по описанию на уровне пикселей и выделение объектов с подсказками (alpha matting).
Рост рейтинга 65 · Лайки 67 · Загрузки 3786
Обоснование
- Координаты рамок и точек генерируются напрямую с помощью специальных токенов координат (<0> до <1000>, нормализованные координаты); если объект отсутствует, возвращается None; для плотных задач после каждой рамки выводится токен экземпляра, а затем пиксельный декодер с 9.6M параметров генерирует альфа-маску в полном разрешении.
- Детектирование, сегментация и выделение объектов используют один и тот же интерфейс predict, переключение между задачами выполняется параметром task, а целевой объект указывается в параметре query.
- Есть научная статья и страница проекта; опубликовано 22 10 месяца, ранее в выпусках не упоминалось. Рост рейтинга 65 отражает только уровень внимания.
Использование
- После установки пакета инференса из GitHub Tencent/WeVisOne-VL: model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16"); result = model.predict(image, task="matting", query="person", temperature=0.0), где result.masks содержит маски.
- Файл mask_decoder.pt из репозитория является обязательным компонентом и должен находиться в той же директории, что и основные веса модели.
Риски
- В карточке модели отсутствуют оценочные метрики, требования к видеопамяти и полный список названий задач; приведен только один пример для задачи matting.
- Официально указано, что качество обработки тонких краев чувствительно к разрешению, сильным перекрытиям, прозрачным объектам и формулировке подсказки; поддерживается только однократный ввод одного изображения, видео отклоняется пиксельным декодером; модель позиционируется как исследовательская и не предназначена для идентификации личности.
- Пиксельный декодер представлен в формате .pt (может содержать pickle), перед загрузкой убедитесь, что файл получен из официального репозитория.