WeVisForensics : Détecter les vidéos générées par l'IA comme une enquête

L'équipe de Tencent aborde la détection des vidéos générées par l'IA comme une enquête : l'agent principal examine d'abord un aperçu grossier des images, puis décide à chaque étape quel type d'inspecteur appeler, quelle fenêtre temporelle examiner et quand tirer une conclusion ; les inspecteurs sont respectivement responsables de la texture visuelle, de la cohérence physique, du bon sens, du texte à l'écran et de la piste audio (profil du locuteur, transcription vocale). L'entraînement utilise l'optimisation de politique à double échelle de temps (DTPO) proposée dans le papier : l'agent principal est mis à jour rapidement par apprentissage par renforcement, tandis que les inspecteurs s'améliorent lentement selon les intervalles d'artefacts annotés, avec un jeu de données ForenCue-30K d'environ 3 10 000 entrées. Le papier indique une précision de détection moyenne de 95.2% sur trois types de benchmarks (in-domaine, out-of-domaine et agentique), soit 9.0 points de pourcentage de plus que le détecteur le plus performant jusqu'alors.

Titre original : WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection

L'équipe de Tencent aborde la détection des vidéos générées par l'IA comme une enquête : l'agent principal examine d'abord un aperçu grossier des images, puis décide à chaque étape quel type d'inspecteur appeler, quelle fenêtre temporelle examiner et quand tirer une conclusion ; les inspecteurs sont respectivement responsables de la texture visuelle, de la cohérence physique, du bon sens, du texte à l'écran et de la piste audio (profil du locuteur, transcription vocale). L'entraînement utilise l'optimisation de politique à double échelle de temps (DTPO) proposée dans le papier : l'agent principal est mis à jour rapidement par apprentissage par renforcement, tandis que les inspecteurs s'améliorent lentement selon les intervalles d'artefacts annotés, avec un jeu de données ForenCue-30K d'environ 3 10 000 entrées. Le papier indique une précision de détection moyenne de 95.2% sur trois types de benchmarks (in-domaine, out-of-domaine et agentique), soit 9.0 points de pourcentage de plus que le détecteur le plus performant jusqu'alors.

Pourquoi c'est important Les détecteurs existants donnent généralement une conclusion après une seule analyse ; celui-ci sélectionne les périodes suspectes pour un examen approfondi et fournit des preuves, les poids et le code d'inférence sont publiés, et il peut fonctionner sur une seule carte graphique

J'aime 49 · Étoiles du code 45

Raisons

  • Comparaison par benchmark dans le README : GenBuster-Bench 97.7, GenBuster-Bench++ 97.5, MintVid General 88.0, AgenticCue 97.8, avec des comparaisons incluant Qwen3.5-397B, Gemini-3.1-Pro ainsi que des détecteurs spécialisés comme BusterX++ et VideoVeritas
  • L'évaluation couvre les vidéos générées par Hailuo, Jimeng, Kling, Seedance, Sora2 et Wan2.5 ; les inspecteurs renvoient une conclusion, un niveau de confiance et une explication de ce qui a été observé, facilitant la vérification humaine
  • Code sous licence Apache-2.0 ; les poids sont un LoRA de 4B basé sur Qwen3.5-4B (disponible sur Hugging Face sous tencent/WeVisForensics), avec une démonstration Gradio incluse

Utilisation

  • Code : https://github.com/Tencent/WeVisForensics;权重:https://huggingface.co/tencent/WeVisForensics;项目页:https://tencent.github.io/WeVisForensics
  • Installation : créer un environnement Python 3.10 avec conda, installer ffmpeg, puis exécuter pip install -r requirements.txt && pip install -e .
  • Une seule carte : serve_lora.sh utilise un processus vLLM unique pour charger Qwen3.5-4B et alterner les LoRA pour chaque rôle (le README indique qu'une carte graphique de 24 GB suffit), puis exécuter python scripts/infer.py <vidéo> --config configs/lora_single_server.json --main-backend http ; pour plusieurs cartes, chaque inspecteur peut lancer son propre vLLM ; sans vLLM, demo/app.py lance une interface web Gradio

Risques

  • Dans la liste des tâches à faire du README, « les poids du modèle sur Hugging Face » et le benchmark AgenticCue ne sont pas encore cochés, mais le dépôt Hugging Face est accessible ; se fier aux fichiers réels
  • La précision est le résultat des auteurs sur leurs propres benchmarks et des benchmarks publics ; il est inconnu si les performances se maintiendront sur de nouveaux modèles de génération non vus ; l'agent principal observe un aperçu à 1 FPS avec un maximum de 16 images, et la démonstration Gradio analyse des segments d'au plus 16 secondes à la fois. Cette entrée n'a pas été exécutée

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA