Le modèle de perception visuelle unifiée de l'équipe visuelle de WeChat de Tencent, basé sur Qwen3-VL : un seul modèle capable d'effectuer la détection à vocabulaire ouvert, la localisation par référence, le comptage, le pointage, la localisation OCR, ainsi que la segmentation par référence au niveau des pixels et le détourage pilotable (alpha matting) via des instructions textuelles.
Score de montée 65 · J'aime 67 · Téléchargements 3786
Raison
- Les boîtes et les points sont générés directement à l'aide de tokens de coordonnées dédiés (de <0> à <1000>, coordonnées normalisées), retournant None si la cible est absente ; pour les tâches denses, un token d'instance est émis après chaque boîte, puis un décodeur de pixels de 9.6M de paramètres génère un masque alpha en pleine résolution.
- La détection, la segmentation et le détourage utilisent la même interface predict, commutée via le paramètre task, avec le paramètre query pour spécifier l'objet recherché.
- Un article et une page de projet sont disponibles ; publié le 22 10, absent des numéros précédents. Le score de montée 65 reflète uniquement le niveau d'attention.
Utilisation
- Après installation du package d'inférence depuis GitHub Tencent/WeVisOne-VL : model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16") ; result = model.predict(image, task="matting", query="person", temperature=0.0), où result.masks contient les masques.
- Le fichier mask_decoder.pt du dépôt est un composant requis et doit être placé aux côtés des poids principaux.
Risques
- La fiche du modèle ne fournit aucune métrique d'évaluation, aucune exigence de mémoire GPU ni liste complète des noms de tâches, ne proposant qu'un seul exemple de matting.
- L'éditeur précise que les bords fins sont sensibles à la résolution, aux occlusions sévères, aux objets transparents et à la formulation des prompts ; le modèle ne prend en charge qu'une seule image en une seule passe, les vidéos étant rejetées par le décodeur de pixels ; il est destiné à la recherche et non à l'identification de personnes.
- Le décodeur de pixels est au format .pt (pouvant contenir du pickle) ; vérifiez qu'il provient bien du dépôt officiel avant chargement.