Tựa đề gốc: LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis
Việc tạo ảnh do tác nhân điều khiển thường phải lấy dữ liệu từ nhiều ảnh tham chiếu, nhưng các bài đánh giá hiện tại chủ yếu chỉ xem xét tính hợp lý của hình ảnh. LongBanana gồm 90 nhiệm vụ do chuyên gia thiết kế, mỗi nhiệm vụ có khoảng 32 ảnh tham chiếu, 20 ràng buộc và 50 mục kiểm tra, sử dụng đồ thị quan hệ thực thể để phân tách các yêu cầu thành danh sách có thể kiểm tra từng mục, chấm điểm dựa trên ba khía cạnh: độ trung thực nội dung, liên kết quan hệ và ràng buộc toàn cục, đồng thời đi kèm với khung tạo ảnh bằng tác nhân LongBanana-Gen. Các tác giả cho biết tỷ lệ nhất quán giữa hai người đánh giá chuyên gia trên tập con là 89.4%, ngay cả quy trình tác nhân đơn giản nhất cũng tốt hơn so với việc tạo ảnh trực tiếp, còn mức độ cải thiện của quy trình ReAct-Lập kế hoạch-Thực hiện-Phản tư (RPR) phụ thuộc vào khung được sử dụng.
Tại sao quan trọng Việc tạo ảnh do tác nhân điều khiển ngày càng phổ biến, bộ đánh giá kèm danh sách kiểm tra này cho phép kiểm tra từng mục xem nội dung từ các ảnh tham chiếu có được sử dụng đúng cách hay không
Lượt thích 28 · Số sao mã nguồn 2
Lý do
- Hướng tới tổng hợp từ nhiều ảnh tham chiếu: truy xuất bằng chứng phân tán, loại trừ ảnh gây nhiễu, liên kết đúng thực thể và quan hệ, những yếu tố mà điểm chất lượng hình ảnh đơn lẻ không thể đo lường được
- Mã nguồn theo giấy phép MIT, dữ liệu theo CC BY 4.0, có thể tích hợp với ba loại tác nhân OpenClaw, Codex, Claude Code để chạy quy trình tạo ảnh và đánh giá
- Các mục kiểm tra do chuyên gia thiết kế và rà soát, kết quả có thể truy vết từng mục
Cách sử dụng
- Mã nguồn: https://github.com/KlingAIResearch/LongBanana;数据:抱脸 KlingTeam/LongBanana (hai phiên bản open_v1 và open_v1p5)
- Sau khi chạy pip install -e . , dùng lệnh python -m longbanana generate để tạo ảnh và python -m longbanana judge để đánh giá; hãy thêm --dry-run trước để kiểm tra đầu vào mà không gọi API
Rủi ro
- Đây là bộ đánh giá và quy trình làm việc, không phải mô hình mới; việc tạo ảnh cố định sử dụng Gemini 3.1 Flash Image, cần có API Key thương mại, chạy toàn bộ sẽ phát sinh chi phí
- README cảnh báo rằng sandbox Bubblewrap không hạn chế truy cập mạng
- Việc đánh giá phụ thuộc vào điểm số từ mô hình lớn, nếu thay đổi mô hình đánh giá thì điểm số không thể so sánh trực tiếp