Reframe: Dạy các tác nhân thị giác thực sự sử dụng hình ảnh trả về từ công cụ

Các tác nhân thị giác thường gặp hai vấn đề khi gọi công cụ: nhận được hình ảnh trả về từ công cụ nhưng không sử dụng; hành động của công cụ không chính xác, khiến quá trình chưng cất sau đó không học được gì. Reframe dựa trên Qwen3.5-9B: Giai đoạn đầu tiên, GD-GRPO huấn luyện riêng biệt các chuyên gia hình ảnh và video, sử dụng phần thưởng định vị để giám sát hành động của công cụ, và ngẫu nhiên loại bỏ hình ảnh gốc sau khi gọi công cụ, buộc mô hình phải trả lời dựa trên quan sát được trả về; Giai đoạn thứ hai, OG-MOPD hợp nhất các chuyên gia vào một mô hình học sinh, thay thế các hành động công cụ không đạt chuẩn bằng hành động tiêu chuẩn rồi tiếp tục chưng cất. Cả hai giai đoạn đều không cần khởi động lạnh SFT chuyên biệt cho từng tác vụ. Các tác giả tuyên bố rằng phương pháp này vượt trội hơn Mix-RL và phương pháp chưng cất đa giáo viên thông thường trên 14 tiêu chuẩn hình ảnh và video, với điểm trung bình hình ảnh tăng từ 63.46 của mô hình nền lên 69.48.

Tựa đề gốc: Reframe: Chưng cất đa giáo viên trên chính sách (On-Policy) được căn chỉnh theo quan sát cho suy luận thị giác dạng tác nhân

Các tác nhân thị giác thường gặp hai vấn đề khi gọi công cụ: nhận được hình ảnh trả về từ công cụ nhưng không sử dụng; hành động của công cụ không chính xác, khiến quá trình chưng cất sau đó không học được gì. Reframe dựa trên Qwen3.5-9B: Giai đoạn đầu tiên, GD-GRPO huấn luyện riêng biệt các chuyên gia hình ảnh và video, sử dụng phần thưởng định vị để giám sát hành động của công cụ, và ngẫu nhiên loại bỏ hình ảnh gốc sau khi gọi công cụ, buộc mô hình phải trả lời dựa trên quan sát được trả về; Giai đoạn thứ hai, OG-MOPD hợp nhất các chuyên gia vào một mô hình học sinh, thay thế các hành động công cụ không đạt chuẩn bằng hành động tiêu chuẩn rồi tiếp tục chưng cất. Cả hai giai đoạn đều không cần khởi động lạnh SFT chuyên biệt cho từng tác vụ. Các tác giả tuyên bố rằng phương pháp này vượt trội hơn Mix-RL và phương pháp chưng cất đa giáo viên thông thường trên 14 tiêu chuẩn hình ảnh và video, với điểm trung bình hình ảnh tăng từ 63.46 của mô hình nền lên 69.48.

Tại sao quan trọng Xem ảnh độ phân giải cao, video dài thường cần phóng to hoặc cắt đoạn; phương pháp này giúp mô hình không chỉ biết gọi công cụ mà còn biết sử dụng kết quả trả về, trọng số và dữ liệu đều đã được mở

Thích 38 · Số sao mã nguồn 31

Lý do

  • Hướng tới các tác vụ hỏi đáp hình ảnh độ phân giải cao và video dài, đòi hỏi phải “phóng to chi tiết, tìm kiếm đoạn”
  • Khi suy luận chỉ sử dụng hai công cụ, không cần giáo viên chuyên gia và chú thích định vị
  • Mã nguồn, trọng số 9B và dữ liệu huấn luyện Reframe-100K đều đã được công khai, bao gồm kịch bản huấn luyện hai giai đoạn và đánh giá trên 14 tiêu chuẩn

Cách sử dụng

  • Mã nguồn: https://github.com/EliYuan30/Reframe;权重:抱脸 EliYuan00/Reframe; Dữ liệu: EliYuan00/Reframe-100K
  • Tải mô hình bằng hf download, sau đó chạy ví dụ bằng lệnh python inference/run.py --model <đường dẫn> --visual <hình ảnh> --question <câu hỏi>

Rủi ro

  • So sánh với các mô hình hiện có như DeepEyes, Thyme là do các tác giả tự kiểm thử trong cùng một thiết lập
  • Huấn luyện dựa trên khung ms-swift, việc tái hiện đòi hỏi môi trường học tăng cường đa GPU
  • Bài viết này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất