ViRA: Tác nhân thị giác siêu phân giải có khả năng phóng to để xem chi tiết

Khi các tác nhân thị giác trả lời câu hỏi về ảnh siêu phân giải, chúng cần phóng to vùng liên quan nhưng thường chỉ dựa vào kiến thức chung để trả lời; phương pháp học tăng cường chỉ thưởng dựa trên đáp án cuối cùng không thể khắc phục điều này vì việc đoán đúng và đọc đúng đều nhận được phần thưởng như nhau. CrossRPO sử dụng “tập hợp đối chiếu” để huấn luyện: một câu hỏi đi kèm với nhiều hình ảnh chỉ khác nhau ở một vùng bằng chứng nhỏ và có đáp án khác nhau, chỉ khi thực sự đọc được bằng chứng mới trả lời đúng tất cả, phần thưởng được cấp cho cả nhóm. Các tác giả đã chỉnh sửa một vật thể nhỏ trong các bức ảnh từ 21 đến 120 megapixel để xây dựng tập huấn luyện và tập đánh giá, đồng thời chụp thêm các bộ ảnh biến đổi thực tế để loại bỏ dấu vết chỉnh sửa. ViRA-9B và ViRA-27B mỗi phiên bản chỉ được huấn luyện bằng khoảng 3,500 mẫu dữ liệu; các tác giả cho biết tỷ lệ chính xác toàn nhóm ở độ phân giải cao nhất trên ViRA-Bench là 63.3%, trong khi GRPO đạt 59.3%, và phiên bản 9B là mô hình mã nguồn mở chính xác nhất trong cùng kích thước.

Tiêu đề gốc: ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization

Khi các tác nhân thị giác trả lời câu hỏi về ảnh siêu phân giải, chúng cần phóng to vùng liên quan nhưng thường chỉ dựa vào kiến thức chung để trả lời; phương pháp học tăng cường chỉ thưởng dựa trên đáp án cuối cùng không thể khắc phục điều này vì việc đoán đúng và đọc đúng đều nhận được phần thưởng như nhau. CrossRPO sử dụng “tập hợp đối chiếu” để huấn luyện: một câu hỏi đi kèm với nhiều hình ảnh chỉ khác nhau ở một vùng bằng chứng nhỏ và có đáp án khác nhau, chỉ khi thực sự đọc được bằng chứng mới trả lời đúng tất cả, phần thưởng được cấp cho cả nhóm. Các tác giả đã chỉnh sửa một vật thể nhỏ trong các bức ảnh từ 21 đến 120 megapixel để xây dựng tập huấn luyện và tập đánh giá, đồng thời chụp thêm các bộ ảnh biến đổi thực tế để loại bỏ dấu vết chỉnh sửa. ViRA-9B và ViRA-27B mỗi phiên bản chỉ được huấn luyện bằng khoảng 3,500 mẫu dữ liệu; các tác giả cho biết tỷ lệ chính xác toàn nhóm ở độ phân giải cao nhất trên ViRA-Bench là 63.3%, trong khi GRPO đạt 59.3%, và phiên bản 9B là mô hình mã nguồn mở chính xác nhất trong cùng kích thước.

Tại sao quan trọng Trả lời câu hỏi về ảnh cực lớn thường được các mô hình đoán đúng dựa trên kiến thức chung; các tác giả cho biết phiên bản cỡ lớn vượt qua hai mô hình đóng mã nguồn ở mức suy nghĩ cao nhất trên hầu hết các bộ chuẩn đánh giá

Lượt thích 1 · Số sao mã nguồn 2

Lý do

  • Đã phát hành ViRA-9B (dựa trên Qwen3.5-9B) và ViRA-27B (dựa trên Qwen3.8-27B), cùng với các tập đánh giá ViRA-Bench, ViRA-Bench-Real và tập huấn luyện ViRA-Train
  • Chỉ khi trả lời đúng toàn bộ nhóm mới được tính là đúng, cách này phân biệt rõ hơn giữa việc đọc bằng chứng và đoán đáp án so với độ chính xác trên từng ảnh đơn lẻ
  • Kho mã bao gồm mã huấn luyện dựa trên verl, các script khởi động cho toàn bộ quá trình huấn luyện và thử nghiệm loại trừ (ablation) trong bài báo, cùng mã đánh giá

Cách sử dụng

  • Mã nguồn: Bộ sưu tập ViRA của tài khoản huaweilin https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸
  • Triển khai huaweilin/ViRA-9B bằng vLLM, sau đó đặt câu hỏi bằng lệnh python -m vira.infer --image photo.jpg --budget 1 --question "…"; tham số --budget kiểm soát ngân sách pixel cho ảnh đầu tiên và mỗi lần phóng to; phiên bản 27B cần điều chỉnh tăng tham số sử dụng bộ nhớ đồ họa trên card đồ họa 80GB

Rủi ro

  • Các biến thể ảnh trong tập đánh giá được tạo bằng cách chỉnh sửa, chỉ có 78 nhóm ảnh so sánh được chụp thực tế; câu trả lời mở được đánh giá bởi GPT-4o
  • Trên một số bộ chuẩn chung (như O3-Bench), hiệu năng vẫn thấp hơn hai mô hình đóng mã nguồn
  • Kết quả do các tác giả báo cáo; mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất