WeVisForensics: Phát hiện video do AI tạo ra như một cuộc điều tra

Đội ngũ Tencent coi việc phát hiện video do AI tạo ra như một cuộc điều tra: tác nhân chính (main agent) trước tiên xem qua các khung hình tổng quan sơ bộ, tại mỗi bước sẽ quyết định gọi loại kiểm tra viên nào, xem cửa sổ thời gian nào và khi nào thì đưa ra kết luận; các kiểm tra viên chịu trách nhiệm riêng về chất lượng hình ảnh, tính nhất quán vật lý, kiến thức chung, văn bản trong khung hình và âm thanh (hồ sơ người nói, chuyển đổi giọng nói thành văn bản). Quá trình huấn luyện sử dụng phương pháp tối ưu hóa chiến lược hai thang thời gian (DTPO) do bài báo đề xuất: tác nhân chính cập nhật nhanh bằng học tăng cường, còn các kiểm tra viên cải thiện chậm dựa trên các khoảng thời gian chứa giả mạo (artifact) đã được chú thích, kèm theo bộ dữ liệu ForenCue-30K gồm khoảng 3 vạn mẫu. Bài báo cho biết độ chính xác phát hiện trung bình đạt 95.2% trên ba loại benchmark gồm trong miền (in-domain), ngoài miền (out-of-domain) và tác nhân (agentic), cao hơn 9.0 điểm phần trăm so với bộ phát hiện mạnh nhất trước đó.

Tiêu đề gốc: WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection

Đội ngũ Tencent coi việc phát hiện video do AI tạo ra như một cuộc điều tra: tác nhân chính (main agent) trước tiên xem qua các khung hình tổng quan sơ bộ, tại mỗi bước sẽ quyết định gọi loại kiểm tra viên nào, xem cửa sổ thời gian nào và khi nào thì đưa ra kết luận; các kiểm tra viên chịu trách nhiệm riêng về chất lượng hình ảnh, tính nhất quán vật lý, kiến thức chung, văn bản trong khung hình và âm thanh (hồ sơ người nói, chuyển đổi giọng nói thành văn bản). Quá trình huấn luyện sử dụng phương pháp tối ưu hóa chiến lược hai thang thời gian (DTPO) do bài báo đề xuất: tác nhân chính cập nhật nhanh bằng học tăng cường, còn các kiểm tra viên cải thiện chậm dựa trên các khoảng thời gian chứa giả mạo (artifact) đã được chú thích, kèm theo bộ dữ liệu ForenCue-30K gồm khoảng 3 vạn mẫu. Bài báo cho biết độ chính xác phát hiện trung bình đạt 95.2% trên ba loại benchmark gồm trong miền (in-domain), ngoài miền (out-of-domain) và tác nhân (agentic), cao hơn 9.0 điểm phần trăm so với bộ phát hiện mạnh nhất trước đó.

Tại sao quan trọng Các bộ phát hiện hiện tại thường chỉ xem xét một lần rồi đưa ra kết luận; phương pháp này sẽ chọn lọc các khoảng thời gian đáng ngờ để kiểm tra kỹ lưỡng và cung cấp bằng chứng, cả trọng số và mã suy luận đều được công khai, có thể chạy trên một card đồ họa

Lượt thích 49 · Số sao mã nguồn 45

Lý do

  • So sánh theo từng benchmark trong README: GenBuster-Bench 97.7, GenBuster-Bench++ 97.5, MintVid General 88.0, AgenticCue 97.8, với các đối tượng so sánh bao gồm Qwen3.5-397B, Gemini-3.1-Pro và các bộ phát hiện chuyên dụng như BusterX++, VideoVeritas
  • Đánh giá bao phủ các video được tạo bởi Hailuo, Jimeng, Kling, Seedance, Sora2, Wan2.5; các kiểm tra viên sẽ trả về kết luận, độ tin cậy và một đoạn mô tả những gì đã quan sát được, thuận tiện cho việc kiểm tra thủ công
  • Mã nguồn theo giấy phép Apache-2.0; trọng số là LoRA 4B dựa trên Qwen3.5-4B (trên Hugging Face tencent/WeVisForensics), ngoài ra còn có demo Gradio

Cách sử dụng

  • Mã nguồn: https://github.com/Tencent/WeVisForensics;权重:https://huggingface.co/tencent/WeVisForensics;项目页:https://tencent.github.io/WeVisForensics
  • Cài đặt: tạo môi trường Python 3.10 bằng conda, cài ffmpeg, chạy pip install -r requirements.txt && pip install -e .
  • Một card đồ họa: dùng serve_lora.sh để chạy một tiến trình vLLM tải Qwen3.5-4B và chuyển đổi giữa các LoRA của từng vai trò (README cho biết chỉ cần card đồ họa 24 GB), sau đó chạy python scripts/infer.py <video> --config configs/lora_single_server.json --main-backend http; với nhiều card đồ họa, có thể khởi động riêng một tiến trình vLLM cho mỗi kiểm tra viên; nếu không dùng vLLM, chạy demo/app.py để khởi động giao diện web Gradio

Rủi ro

  • Trong danh sách việc cần làm (TODO) của README, mục "trọng số mô hình trên Hugging Face" và benchmark AgenticCue vẫn chưa được đánh dấu hoàn thành, nhưng kho lưu trữ trên Hugging Face đã có thể truy cập, hãy dựa vào các tệp thực tế
  • Độ chính xác là kết quả do tác giả công bố trên các benchmark của họ và các benchmark công khai; khả năng duy trì hiệu suất trên các mô hình tạo sinh mới chưa từng thấy vẫn còn là ẩn số; tác nhân chính xem xét các khung hình tổng quan ở 1 FPS, tối đa 16 khung hình; demo Gradio phân tích tối đa các đoạn video dài 16 giây mỗi lần. Mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất