Llama-V-JEPA-LM est une série de modèles de langage vidéo de Kim et al. (article arXiv 2611.17831), dont les versions plus petites, comme celle de 1.7B, ont été présentées dans les numéros précédents ; cette fois, la version la plus grande connecte l'encodeur vidéo Meta V-JEPA 2.1 ViT-G, gelé, à un Qwen3-30B-A3B finement ajusté de manière complète via un « pont spectral », pour un total de 32.39B de paramètres. Chaque vidéo est échantillonnée sur 32 images, converties en 1,024 tokens visuels, un nombre indépendant de la résolution d'entrée. En plus des ensembles de données publics de questions-réponses vidéo, les données d'entraînement incluent des échantillons « contre-factuels » à réponse déterminée, construits à l'aide de transformations telles que le ralenti inversé, le miroir et le changement de vitesse, afin d'apprendre au modèle à interpréter les changements visuels. Les auteurs rapportent une moyenne de 69.49 sur 12 tâches issues de 11 benchmarks vidéo, surpassant les scores de 66.41 pour MiniCPM-V-4.7-35B-A3B et de 63.33 pour Qwen3-VL-30B-A3B.
Pourquoi c'est important Les auteurs affirment que la moyenne des scores est supérieure à celle de Qwen3-VL-30B-A3B, basé sur le même socle, avec l'écart le plus marqué observé sur des tests de rétention personnalisés impliquant des ralentis inversés, des changements de vitesse et des effets miroir.
J'aime 12 · Hausse des likes 12 · Téléchargements 3
Licence : usage commercial autorisé · ComfyUI : non disponible · VRAM : ≈78 GB (estimation)
Raisons
- Article, rapport technique et démonstration en ligne sur Hugging Face inclus
- Le tableau d'évaluation mentionne également les domaines où le modèle est en retard, tels que les scores vidéo MotionBench et Vinoground
Utilisation
- Installez les dépendances telles que transformers 5 ou supérieur, safetensors et eva-decord, puis chargez le modèle avec AutoModel.from_pretrained("kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B", trust_remote_code=True, dtype=torch.bfloat16). Utilisez model.chat("my_video.mp4", "question") pour des réponses libres et model.choose pour les questions à choix multiples ; pour les vidéos longues, utilisez start_sec / end_sec pour sélectionner des segments
Risques
- Les poids pèsent environ 65 GB ; les auteurs recommandent une carte graphique avec 80 GB de VRAM (pic mesuré de 61.0 GiB par segment) ; l'option trust_remote_code est nécessaire
- Le code et les poids sont sous licence Apache-2.0, mais plusieurs jeux de données d'entraînement interdisent l'usage commercial. Les auteurs précisent que les poids sont publiés pour la recherche et un usage non commercial, et sont soumis à la politique d'utilisation de Llama 3.2
- Entraîné uniquement en anglais ; l'OCR, les images uniques et les vidéos longues ne sont pas ses objectifs