원제: WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection
텐센트 팀은 AI 생성 비디오 탐지를 하나의 조사 과정으로 간주합니다. 주 에이전트는 먼저 대략적인 개요 프레임을 확인하고, 각 단계에서 어떤 유형의 검사원을 호출할지, 어떤 시간 창을 볼지, 언제 결론을 내릴지 결정합니다. 검사원은 각각 화면 질감, 물리적 일관성, 상식, 화면 내 텍스트, 오디오 트랙(화자 프로필, 음성 전사)을 담당합니다. 학습에는 논문에서 제안한 이중 시간 스케일 전략 최적화 DTPO를 사용했습니다. 주 에이전트는 강화 학습을 통해 빠르게 업데이트되고, 검사원은 라벨링된 아티팩트 구간에 따라 천천히 개선되며, 약 3만 건의 ForenCue-30K 데이터가 함께 제공됩니다. 논문은 도메인 내, 도메인 외, 에이전트 세 가지 벤치마크에서 평균 탐지 정확도가 95.2%로, 이전까지 가장 강력한 탐지기보다 9.0%포인트 높다고 보고했습니다.
왜 중요한가 기존 탐지기는 대부분 한 번에 전체를 보고 결론을 내리는 반면, 이 모델은 의심스러운 구간을 선별하여 상세히 조사하고 증거를 제시합니다. 가중치와 추론 코드가 모두 공개되어 있으며, 단일 GPU로 실행할 수 있습니다
좋아요 49 · 코드 스타 수 45
이유
- README의 벤치마크별 비교: GenBuster-Bench 97.7, GenBuster-Bench++ 97.5, MintVid General 88.0, AgenticCue 97.8 등이며, 비교 대상에는 Qwen3.5-397B, Gemini-3.1-Pro 및 BusterX++, VideoVeritas 등 전용 탐지기가 포함됩니다
- 평가는 하오(海螺), 지멍(即梦), 커링(可灵), Seedance, Sora2, Wan2.5에서 생성된 비디오를 포함하며, 검사원은 결론, 신뢰도 및 관찰 내용을 설명하는 텍스트를 반환하여 수동 검증을 용이하게 합니다
- 코드는 Apache-2.0 라이선스이며, 가중치는 Qwen3.5-4B 기반의 4B LoRA(Hugging Face tencent/WeVisForensics)입니다. 또한 Gradio 데모가 제공됩니다
사용법
- 코드: https://github.com/Tencent/WeVisForensics;权重:https://huggingface.co/tencent/WeVisForensics;项目页:https://tencent.github.io/WeVisForensics
- 설치: conda로 Python 3.10 환경을 생성하고, ffmpeg을 설치한 후, pip install -r requirements.txt && pip install -e .
- 단일 GPU: serve_lora.sh 스크립트를 사용하여 하나의 vLLM 프로세스에 Qwen3.5-4B를 로드하고 각 역할의 LoRA를 전환합니다(README에 따르면 24 GB GPU면 충분합니다). 이후 python scripts/infer.py <비디오> --config configs/lora_single_server.json --main-backend http를 실행합니다. 다중 GPU 환경에서는 각 검사원마다 별도의 vLLM 인스턴스를 실행할 수 있습니다. vLLM을 사용하지 않을 경우 demo/app.py를 통해 Gradio 웹 인터페이스를 실행합니다
리스크
- README의 할 일 목록에서 'Hugging Face 모델 가중치'와 AgenticCue 벤치마크가 아직 체크되지 않았지만, Hugging Face 저장소는 이미 접근 가능하며 실제 파일을 기준으로 합니다
- 정확도는 저자들이 자체 및 공개 벤치마크에서 얻은 결과이며, 이전에 보지 못한 새로운 생성 모델에 대해 성능이 유지될지는 불확실합니다. 주 에이전트는 1 FPS, 최대 16 프레임의 개요를 확인하며, Gradio 데모는 한 번에 최대 16초의 클립을 분석합니다. 이 항목은 실행되지 않았습니다
열기 · 코드 · Hugging Face 논문 페이지