WeVisForensics: Обнаружение сгенерированных ИИ видео как расследование

Команда Tencent подходит к обнаружению сгенерированных ИИ видео как к расследованию: главный агент сначала просматривает грубый обзор кадров, на каждом шаге решая, какого инспектора вызвать, какое временное окно проверить и когда сделать вывод; инспекторы отвечают за качество изображения, физическую согласованность, здравый смысл, текст на экране и аудиодорожку (профили говорящих, транскрипция речи). Обучение использует предложенную в статье двухвременну́ю оптимизацию политики DTPO: главный агент быстро обновляется с помощью обучения с подкреплением, а инспекторы медленно улучшаются на основе размеченных интервалов артефактов, используя набор данных ForenCue-30K объемом около 3 тысяч примеров. В статье утверждается, что средняя точность обнаружения составляет 95.2% на трех типах бенчмарков (in-domain, out-of-domain и агентных), что на 9.0 процентных пункта выше, чем у предыдущих лучших детекторов.

Оригинальное название: WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection

Команда Tencent подходит к обнаружению сгенерированных ИИ видео как к расследованию: главный агент сначала просматривает грубый обзор кадров, на каждом шаге решая, какого инспектора вызвать, какое временное окно проверить и когда сделать вывод; инспекторы отвечают за качество изображения, физическую согласованность, здравый смысл, текст на экране и аудиодорожку (профили говорящих, транскрипция речи). Обучение использует предложенную в статье двухвременну́ю оптимизацию политики DTPO: главный агент быстро обновляется с помощью обучения с подкреплением, а инспекторы медленно улучшаются на основе размеченных интервалов артефактов, используя набор данных ForenCue-30K объемом около 3 тысяч примеров. В статье утверждается, что средняя точность обнаружения составляет 95.2% на трех типах бенчмарков (in-domain, out-of-domain и агентных), что на 9.0 процентных пункта выше, чем у предыдущих лучших детекторов.

Почему это важно Большинство существующих детекторов выносят вердикт после однократного просмотра; этот же метод выбирает подозрительные отрезки для детальной проверки и предоставляет доказательства. Веса модели и код вывода опубликованы, запуск возможен на одной видеокарте

Лайков: 49 · Звезд в репозитории кода: 45

Причины

  • Сравнение по бенчмаркам из README: GenBuster-Bench 97.7, GenBuster-Bench++ 97.5, MintVid General 88.0, AgenticCue 97.8. В качестве объектов сравнения выступают Qwen3.5-397B, Gemini-3.1-Pro, а также специализированные детекторы BusterX++, VideoVeritas и другие
  • Оценка охватывает видео, сгенерированные моделями Hailuo, Jimeng, Kling, Seedance, Sora2, Wan2.5. Инспекторы возвращают заключение, уровень уверенности и описание того, что было обнаружено, что облегчает ручную проверку
  • Код распространяется под лицензией Apache-2.0; веса представляют собой LoRA на базе Qwen3.5-4B размером 4B (доступны в репозитории Hugging Face tencent/WeVisForensics), также доступен демо-интерфейс Gradio

Использование

  • Код: https://github.com/Tencent/WeVisForensics;权重:https://huggingface.co/tencent/WeVisForensics;项目页:https://tencent.github.io/WeVisForensics
  • Установка: создайте окружение conda с Python 3.10, установите ffmpeg, выполните pip install -r requirements.txt && pip install -e .
  • Одна видеокарта: скрипт serve_lora.sh использует один процесс vLLM для загрузки Qwen3.5-4B и переключения LoRA для различных ролей (в README указано, что достаточно видеокарты с 24 ГБ памяти), затем выполните python scripts/infer.py <видео> --config configs/lora_single_server.json --main-backend http; при наличии нескольких видеокарт можно запустить отдельный процесс vLLM для каждого инспектора; если не используется vLLM, скрипт demo/app.py запускает веб-интерфейс Gradio

Риски

  • В списке задач в README пункты «веса модели на Hugging Face» и бенчмарк AgenticCue еще не отмечены как выполненные, однако репозиторий на Hugging Face уже доступен; ориентируйтесь на фактические файлы
  • Показатели точности получены авторами на собственных и публичных бенчмарках; неизвестно, сохранится ли эффективность для новых генеративных моделей, не представленных в данных. Главный агент анализирует обзор с частотой 1 кадров/с и максимум 16 кадров; демо-интерфейс Gradio за один раз анализирует фрагменты длительностью не более 16 секунд. Данный пункт не был проверен на практике

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ